Connect with us

технологии

Изследване разкрива уязвимости в AI инструментите за безопасност

Редакция

Published

on

Ново изследване показва, че повечето мерки за безопасност на инструментите за изкуствен интелект могат да бъдат заобиколени само за няколко минути. Според доклад на технологичната компания Cisco, AI системите „забравят“ своите правила за безопасност, когато потребителят общува с тях по-дълго време. Това увеличава вероятността те да предоставят вредна или неподходяща информация.

Изследването оценява големите езикови модели (LLMs), стоящи зад популярни AI чатботове от компании като OpenAI, Mistral, Google, Meta, Alibaba, Deepseek и Microsoft. Изпълнени са 499 разговора с използване на техника, наречена „мулти-обратни атаки“, при която злонамерени потребители задават множество въпроси на AI инструментите с цел да заобиколят мерките за безопасност. Всеки разговор включва между пет и десет взаимодействия.

Изследователите сравняват резултатите от различни въпроси, за да определят вероятността чатботовете да се съгласят с искания за вредна или неподходяща информация. Средно, когато задават множество въпроси, те успяват да получат злонамерена информация в 64 процента от разговорите, докато при един единствен въпрос този процент е едва 13 процента. Успехът варира от около 26 процента при Google’s Gemma до 93 процента при модела Large Instruct на Mistral.

Уязвимости в AI системите и последствията от тях

Резултатите сочат, че мулти-обратните атаки могат да позволят разпространението на вредно съдържание или да предоставят на хакерите „неразрешен достъп“ до чувствителна информация на компании. Според изследването, AI системите често не успяват да запомнят и прилагат правилата си за безопасност по време на по-дълги разговори, което позволява на нападателите да усъвършенстват запитванията си и да избегнат мерките за сигурност.

Моделите на Mistral, подобно на тези на Meta, Google, OpenAI и Microsoft, работят с отворени LLM, което позволява на обществеността да получи достъп до специфичните параметри за безопасност, на които моделите са обучени. Cisco подчертава, че тези модели често разполагат с „по-слаби вградени функции за безопасност“, което прехвърля отговорността за безопасността на потребителя, който използва откритата информация, за да персонализира своя модел.

Важно е да се отбележи, че Google, OpenAI, Meta и Microsoft са заявили, че полагат усилия за намаляване на злонамереното донастройване на своите модели. Въпреки това, AI компаниите са подложени на критика за недостатъчните мерки за безопасност, които улесняват адаптацията на техните системи за криминални цели. През август 2023 г. например, американската компания Anthropic съобщи, че престъпници са използвали нейния модел Claude за извършване на мащабни кражби и изнудване на лични данни, изисквайки откуп, понякога надвишаващ 500 000 долара.

Нашият редакторски екип е посветен на предоставянето на точно и навременно отразяване на новините. С ангажимент към журналистическата почтеност, ние ви донасяме историите, които са най-важни за нашата общност.

Continue Reading
политика49 минути ago

Крал Чарлз лиши принц Андрю от титлата му след скандал

топ новини50 минути ago

Спирането на полетите в Гьотеборг заради дронова активност

туризъм51 минути ago

Как да се уверите, че имате застраховка при екстремно време

развлечения51 минути ago

Новият подкаст „Брюксел, моя любов?“ разяснява европейската политика

здраве2 часа ago

Ново проучване оспорва ефективността на радиотерапията при рак на гърдата

бизнес2 часа ago

Полицейска операция разкрива схема за кражба на гориво от Лукойл

технологии2 часа ago

Изследване разкрива уязвимости в AI инструментите за безопасност

спорт2 часа ago

Григор Димитров завършва 2025 г. в топ 50 на тенисистите

свят3 часа ago

Най-дългото затваряне в историята на САЩ: Политически блокаж застрашава правителството

политика3 часа ago

Швейцарският върховен съд потвърди осъдителна присъда за протестиращи

топ новини3 часа ago

Британският паунд срещу швейцарския франк: Прогноза за 6 ноември

туризъм4 часа ago

Ямайка ускорява възстановяването след ураган Мелиса за туристическия сезон

развлечения4 часа ago

Анджелина Джоли посети Херсон: Звездата на Холивуд в Украйна

здраве4 часа ago

Ново проучване: Лъчетерапията не подобрява оцеляването при рак на гърдата

бизнес4 часа ago

Икономист предупреди: Приемането на еврото може да потопи България

технологии5 часа ago

Изследване: AI чатботовете не разпознават фалшивата информация

спорт5 часа ago

Националният отбор по джудо спечели бронзови медали в Париж

свят5 часа ago

Зохран Мамдани – най-младият и първи мюсюлмански кмет на Ню Йорк

политика5 часа ago

Шейн открива първия си постоянен магазин в Париж с протести

топ новини6 часа ago

Организаторът на Мис Вселена Тайланд поднесе извинение с сълзи

спорт3 седмици ago

Капитанът на Кристъл Палас Марк Гуехи напуска клуба догодина

технологии4 седмици ago

KOBIA ускорява растежа на малките и средни предприятия в Азербайджан

свят3 седмици ago

Тръмп поставя дипломацията на първо място, Зелевски се връща без новини

свят4 седмици ago

Тръмп постигна мирно споразумение в Газа – войната свърши

развлечения3 седмици ago

Семейството на Даян Кийтън благодари на феновете след смъртта ѝ

здраве3 седмици ago

Италия води в потреблението на канабис сред младите в ЕС

спорт4 седмици ago

САЩ доминира на световното първенство по стрелба с пушка

спорт3 седмици ago

Световният шампион по вдигане на тежести Карлос Насар обмисля да напусне България

образование4 седмици ago

Излишното време пред екран влияе негативно на учебните резултати

свят4 седмици ago

САЩ наложиха санкции на сръбския нефтен гигант НИС

здраве4 седмици ago

Ню Йорк съди технологични гиганти за психичното здраве на младите

здраве4 седмици ago

Японски учени откриха биологичната причина за мозъчната мъгла при Long COVID

топ новини3 седмици ago

Никола Саркози ще изтърпи присъда от 5 години затвор на 21 октомври

здраве3 седмици ago

Самотата повишава риска от смърт при пациенти с рак

политика3 седмици ago

Стармер предлага план за мир в Украйна, вдъхновен от Тръмп

здраве4 седмици ago

Глобалната продължителност на живота се възстановява, но предизвикателствата остават

спорт3 седмици ago

Катар се класира за финала на Световното първенство по футбол

здраве3 седмици ago

Самотата увеличава риска от смърт при пациенти с рак

спорт3 седмици ago

България с четвърто място на Европейското първенство по шах

свят4 седмици ago

TAP Air Portugal планира растеж в Африка и Бразилия

Trending

© Всички права запазени. Този уебсайт предлага новини и образователно съдържание с информационна цел. Въпреки че се стремим към точност, не гарантираме пълнотата или надеждността на предоставената информация. Съдържанието не трябва да се приема като професионален съвет. Препоръчваме на читателите да проверяват фактите и при необходимост да се консултират със специалисти. Не носим отговорност за загуби или неудобства, произтичащи от използването на информацията на този сайт.