Connect with us

технологии

Изследване: Само с няколко команди AI системите забравят безопасността

Редакция

Published

on

Ново изследване разкрива, че повечето мерки за безопасност на инструментите за изкуствен интелект (AI) могат да бъдат заобиколени за минути. Според доклада на компанията Cisco, AI системите „забравят“ своите предпазни мерки, колкото по-дълго потребителят взаимодейства с тях. Това увеличава вероятността те да предоставят вредна или неподходяща информация.

Cisco е оценил големите езикови модели (LLM), стоящи зад популярни AI чатботове, включително тези на OpenAI, Meta, Google, Alibaba, Mistral, Deepseek и Microsoft. В рамките на 499 разговора, изследователите използвали техника, наречена „мулти-обратни атаки“, при която злонамерени потребители задавали множество въпроси на AI инструментите, за да заобиколят мерките за безопасност.

При всеки разговор имало между пет и десет взаимодействия. Изследователите сравнили резултатите и установили, че средно 64 процента от разговорите водят до получаване на вредна информация, когато задават множество въпроси. Това е в контекста на едва 13 процента успешност при задаване на един единствен въпрос. Успехът варирал от около 26 процента с модела Gemma на Google до 93 процента с модела Large Instruct на Mistral.

Рискове от многократни атаки

Резултатите от изследването показват, че многократните атаки могат да позволят разпространение на вредно съдържание или да предоставят на хакерите „неразрешен достъп“ до чувствителна информация на компании. AI системите често не успяват да запомнят и приложат своите правила за безопасност по време на по-дълги разговори. Това означава, че нападателите могат постепенно да усъвършенстват своите запитвания и да избегнат мерките за сигурност.

Моделите с отворен код, каквито са тези на Mistral, Meta, Google, OpenAI и Microsoft, предоставят публичен достъп до конкретни параметри на безопасност, на които са обучени. Cisco отбелязва, че тези модели често имат „по-леки вградени функции за безопасност“, което позволява на потребителите да изтеглят и адаптират своите модели. Това прехвърля отговорността за безопасност на лицето, което е използвало информация с отворен код, за да персонализира своя модел.

Отговорности на компаниите за AI

Интересно е, че Cisco посочи, че компании като Google, OpenAI, Meta и Microsoft са заявили, че полагат усилия за намаляване на злонамереното пренастройване на своите модели. Въпреки това, AI компаниите са подложени на критика за недостатъчни мерки за безопасност, които улесняват адаптирането на техните системи за криминални цели.

През август 2023 г. например, американската компания Anthropic съобщи, че престъпници са използвали нейния модел Claude за извършване на мащабни кражби и изнудване на лични данни, като са искали откуп от жертви, често надхвърлящи 500 000 долара (около 433 000 евро). Тези инциденти подчертават важността на сигурността и необходимостта от по-строги мерки за предотвратяване на злоупотреби с AI технологии.

Нашият редакторски екип е посветен на предоставянето на точно и навременно отразяване на новините. С ангажимент към журналистическата почтеност, ние ви донасяме историите, които са най-важни за нашата общност.

Continue Reading
технологии37 минути ago

Изследване разкрива слабости на AI чатботове в разпознаване на вярвания

спорт38 минути ago

Експертна логистика на Equitrans пренася елитни коне в Абу Даби

свят39 минути ago

Най-дългото затваряне на правителството в историята на САЩ

политика40 минути ago

Полицията в Обединеното кралство търси двама неправилно освободени затворници

топ новини2 часа ago

Мая Санду призовава ЕС за креативни решения за Молдова

туризъм2 часа ago

Затварянето на въздушното пространство в САЩ заплашва милиони пътници

развлечения2 часа ago

Антъни Хопкинс загуби всичко в опустошителните пожари в Калифорния

здраве3 часа ago

Дете от Ивано-Франковск преминава сложна операция с международно признание

бизнес3 часа ago

Цените на цигарите в България ще се увеличат от януари 2026 г.

технологии3 часа ago

Изследване: Само с няколко команди AI системите забравят безопасността

спорт3 часа ago

Казахстан: Как стратегиите му превърнаха страната в шахова сила

свят4 часа ago

easyJet стартира 17 нови маршрута във Франция за зимния сезон

политика4 часа ago

Дебра Месинг подложена на критика след нападка срещу Мамдани

топ новини4 часа ago

Грешно освободен затворник се предаде, търси се втори

туризъм4 часа ago

Типерари – новата дестинация за 2026 г. с уникален чар

развлечения6 часа ago

Новият подкаст „Брюксел, моя любов?“ стартира на 7 ноември

здраве6 часа ago

Ново изследване поставя под съмнение радиотерапията при рак на гърдата

бизнес6 часа ago

Ойшин Мърфи спечели £50 000 на Световното първенство по конен спорт

технологии6 часа ago

Лонсдейл Метал представя новини за иновации в системите за остъкляване

спорт7 часа ago

Григор Димитров завършва 2025 г. сред топ 50 тенисисти в света

спорт3 седмици ago

Капитанът на Кристъл Палас Марк Гуехи напуска клуба догодина

технологии4 седмици ago

KOBIA ускорява растежа на малките и средни предприятия в Азербайджан

свят3 седмици ago

Тръмп поставя дипломацията на първо място, Зелевски се връща без новини

свят4 седмици ago

Тръмп постигна мирно споразумение в Газа – войната свърши

развлечения3 седмици ago

Семейството на Даян Кийтън благодари на феновете след смъртта ѝ

здраве3 седмици ago

Италия води в потреблението на канабис сред младите в ЕС

спорт4 седмици ago

САЩ доминира на световното първенство по стрелба с пушка

спорт3 седмици ago

Световният шампион по вдигане на тежести Карлос Насар обмисля да напусне България

образование4 седмици ago

Излишното време пред екран влияе негативно на учебните резултати

свят4 седмици ago

САЩ наложиха санкции на сръбския нефтен гигант НИС

здраве4 седмици ago

Японски учени откриха биологичната причина за мозъчната мъгла при Long COVID

топ новини3 седмици ago

Никола Саркози ще изтърпи присъда от 5 години затвор на 21 октомври

здраве4 седмици ago

Ню Йорк съди технологични гиганти за психичното здраве на младите

политика3 седмици ago

Стармер предлага план за мир в Украйна, вдъхновен от Тръмп

здраве3 седмици ago

Самотата повишава риска от смърт при пациенти с рак

здраве4 седмици ago

Глобалната продължителност на живота се възстановява, но предизвикателствата остават

спорт3 седмици ago

Катар се класира за финала на Световното първенство по футбол

здраве3 седмици ago

Самотата увеличава риска от смърт при пациенти с рак

развлечения3 седмици ago

Диана Кийтън почина на 79 години, семейството ѝ разкри причината за смъртта

развлечения4 седмици ago

Шрија Саран и дъщеря ѝ Рада показват красивата си менхди

Trending

© Всички права запазени. Този уебсайт предлага новини и образователно съдържание с информационна цел. Въпреки че се стремим към точност, не гарантираме пълнотата или надеждността на предоставената информация. Съдържанието не трябва да се приема като професионален съвет. Препоръчваме на читателите да проверяват фактите и при необходимост да се консултират със специалисти. Не носим отговорност за загуби или неудобства, произтичащи от използването на информацията на този сайт.