технологии
Изследване: Само с няколко команди AI системите забравят безопасността
Ново изследване разкрива, че повечето мерки за безопасност на инструментите за изкуствен интелект (AI) могат да бъдат заобиколени за минути. Според доклада на компанията Cisco, AI системите „забравят“ своите предпазни мерки, колкото по-дълго потребителят взаимодейства с тях. Това увеличава вероятността те да предоставят вредна или неподходяща информация.
Cisco е оценил големите езикови модели (LLM), стоящи зад популярни AI чатботове, включително тези на OpenAI, Meta, Google, Alibaba, Mistral, Deepseek и Microsoft. В рамките на 499 разговора, изследователите използвали техника, наречена „мулти-обратни атаки“, при която злонамерени потребители задавали множество въпроси на AI инструментите, за да заобиколят мерките за безопасност.
При всеки разговор имало между пет и десет взаимодействия. Изследователите сравнили резултатите и установили, че средно 64 процента от разговорите водят до получаване на вредна информация, когато задават множество въпроси. Това е в контекста на едва 13 процента успешност при задаване на един единствен въпрос. Успехът варирал от около 26 процента с модела Gemma на Google до 93 процента с модела Large Instruct на Mistral.
Рискове от многократни атаки
Резултатите от изследването показват, че многократните атаки могат да позволят разпространение на вредно съдържание или да предоставят на хакерите „неразрешен достъп“ до чувствителна информация на компании. AI системите често не успяват да запомнят и приложат своите правила за безопасност по време на по-дълги разговори. Това означава, че нападателите могат постепенно да усъвършенстват своите запитвания и да избегнат мерките за сигурност.
Моделите с отворен код, каквито са тези на Mistral, Meta, Google, OpenAI и Microsoft, предоставят публичен достъп до конкретни параметри на безопасност, на които са обучени. Cisco отбелязва, че тези модели често имат „по-леки вградени функции за безопасност“, което позволява на потребителите да изтеглят и адаптират своите модели. Това прехвърля отговорността за безопасност на лицето, което е използвало информация с отворен код, за да персонализира своя модел.
Отговорности на компаниите за AI
Интересно е, че Cisco посочи, че компании като Google, OpenAI, Meta и Microsoft са заявили, че полагат усилия за намаляване на злонамереното пренастройване на своите модели. Въпреки това, AI компаниите са подложени на критика за недостатъчни мерки за безопасност, които улесняват адаптирането на техните системи за криминални цели.
През август 2023 г. например, американската компания Anthropic съобщи, че престъпници са използвали нейния модел Claude за извършване на мащабни кражби и изнудване на лични данни, като са искали откуп от жертви, често надхвърлящи 500 000 долара (около 433 000 евро). Тези инциденти подчертават важността на сигурността и необходимостта от по-строги мерки за предотвратяване на злоупотреби с AI технологии.
-
образование3 месеца agoKruu създава партньорства за иновации в образованието
-
развлечения2 месеца agoИзлиза мемоарът на Вирджиния Джиуфре ‘Nobody’s Girl’ след смъртта ѝ
-
развлечения2 месеца agoИзлезе мемоарът на Вирджиния Джуфре ‘Nobody’s Girl’ след смъртта ѝ
-
топ новини4 месеца agoНови избори за директор на Българската национална телевизия
-
развлечения2 месеца agoМемоарът на Вирджиния Дюфре „Nobody’s Girl“ излиза след смъртта ѝ
-
туризъм3 месеца agoРусия възобновява редовни полети до Северна Корея след десетилетия
-
образование3 месеца agoРуски ученици спечелиха медали на Международната олимпиада по математика
-
развлечения2 месеца agoМемоарите на Вирджиния Джафре „Nobody’s Girl“ излизат след смъртта ѝ
-
развлечения2 месеца agoИзлезе мемоарът на Вирджиния Дюфре „Nobody’s Girl“ след смъртта ѝ
-
топ новини3 месеца agoПитбул атакува семейство и куче в село Кошарица
-
туризъм2 месеца agoВалѐта – най-красивото пристанище за круизи в света
-
свят4 месеца agoСмъртен инцидент на летището в Бергамо: Мъж погълнат от двигател на самолет
