Connect with us

технологии

Изследване разкрива уязвимости в AI инструментите за безопасност

Редакция

Published

on

Ново изследване показва, че повечето мерки за безопасност на инструментите за изкуствен интелект могат да бъдат заобиколени само за няколко минути. Според доклад на технологичната компания Cisco, AI системите „забравят“ своите правила за безопасност, когато потребителят общува с тях по-дълго време. Това увеличава вероятността те да предоставят вредна или неподходяща информация.

Изследването оценява големите езикови модели (LLMs), стоящи зад популярни AI чатботове от компании като OpenAI, Mistral, Google, Meta, Alibaba, Deepseek и Microsoft. Изпълнени са 499 разговора с използване на техника, наречена „мулти-обратни атаки“, при която злонамерени потребители задават множество въпроси на AI инструментите с цел да заобиколят мерките за безопасност. Всеки разговор включва между пет и десет взаимодействия.

Изследователите сравняват резултатите от различни въпроси, за да определят вероятността чатботовете да се съгласят с искания за вредна или неподходяща информация. Средно, когато задават множество въпроси, те успяват да получат злонамерена информация в 64 процента от разговорите, докато при един единствен въпрос този процент е едва 13 процента. Успехът варира от около 26 процента при Google’s Gemma до 93 процента при модела Large Instruct на Mistral.

Уязвимости в AI системите и последствията от тях

Резултатите сочат, че мулти-обратните атаки могат да позволят разпространението на вредно съдържание или да предоставят на хакерите „неразрешен достъп“ до чувствителна информация на компании. Според изследването, AI системите често не успяват да запомнят и прилагат правилата си за безопасност по време на по-дълги разговори, което позволява на нападателите да усъвършенстват запитванията си и да избегнат мерките за сигурност.

Моделите на Mistral, подобно на тези на Meta, Google, OpenAI и Microsoft, работят с отворени LLM, което позволява на обществеността да получи достъп до специфичните параметри за безопасност, на които моделите са обучени. Cisco подчертава, че тези модели често разполагат с „по-слаби вградени функции за безопасност“, което прехвърля отговорността за безопасността на потребителя, който използва откритата информация, за да персонализира своя модел.

Важно е да се отбележи, че Google, OpenAI, Meta и Microsoft са заявили, че полагат усилия за намаляване на злонамереното донастройване на своите модели. Въпреки това, AI компаниите са подложени на критика за недостатъчните мерки за безопасност, които улесняват адаптацията на техните системи за криминални цели. През август 2023 г. например, американската компания Anthropic съобщи, че престъпници са използвали нейния модел Claude за извършване на мащабни кражби и изнудване на лични данни, изисквайки откуп, понякога надвишаващ 500 000 долара.

Нашият редакторски екип е посветен на предоставянето на точно и навременно отразяване на новините. С ангажимент към журналистическата почтеност, ние ви донасяме историите, които са най-важни за нашата общност.

Continue Reading
туризъм30 минути ago

Затваряне на въздушното пространство в САЩ застрашава пътуванията

развлечения30 минути ago

Новият подкаст „Брюксел, моя любов?“ разяснява ЕС политика

здраве31 минути ago

Употребата на алкохол увеличава риска от мозъчен инсулт в напреднала възраст

бизнеседин час ago

Нови сигнали за търговия с EUR/USD: Бичи пробив на хоризонта

технологииедин час ago

ЕС планира €550 милиарда за високоскоростни влакове в Европа

спортедин час ago

Григор Димитров завършва 2025 г. сред топ 50 на тенисистите

свят2 часа ago

Норвегия засилва киберсигурността заради проблеми с китайски автобуси

политика2 часа ago

Крал Чарлз лиши принц Андрю от титлата му след скандал

топ новини2 часа ago

Спирането на полетите в Гьотеборг заради дронова активност

туризъм3 часа ago

Как да се уверите, че имате застраховка при екстремно време

развлечения3 часа ago

Новият подкаст „Брюксел, моя любов?“ разяснява европейската политика

здраве3 часа ago

Ново проучване оспорва ефективността на радиотерапията при рак на гърдата

бизнес3 часа ago

Полицейска операция разкрива схема за кражба на гориво от Лукойл

технологии4 часа ago

Изследване разкрива уязвимости в AI инструментите за безопасност

спорт4 часа ago

Григор Димитров завършва 2025 г. в топ 50 на тенисистите

свят4 часа ago

Най-дългото затваряне в историята на САЩ: Политически блокаж застрашава правителството

политика5 часа ago

Швейцарският върховен съд потвърди осъдителна присъда за протестиращи

топ новини5 часа ago

Британският паунд срещу швейцарския франк: Прогноза за 6 ноември

туризъм5 часа ago

Ямайка ускорява възстановяването след ураган Мелиса за туристическия сезон

развлечения5 часа ago

Анджелина Джоли посети Херсон: Звездата на Холивуд в Украйна

спорт3 седмици ago

Капитанът на Кристъл Палас Марк Гуехи напуска клуба догодина

технологии4 седмици ago

KOBIA ускорява растежа на малките и средни предприятия в Азербайджан

свят3 седмици ago

Тръмп поставя дипломацията на първо място, Зелевски се връща без новини

свят4 седмици ago

Тръмп постигна мирно споразумение в Газа – войната свърши

развлечения3 седмици ago

Семейството на Даян Кийтън благодари на феновете след смъртта ѝ

здраве3 седмици ago

Италия води в потреблението на канабис сред младите в ЕС

спорт4 седмици ago

САЩ доминира на световното първенство по стрелба с пушка

спорт3 седмици ago

Световният шампион по вдигане на тежести Карлос Насар обмисля да напусне България

образование4 седмици ago

Излишното време пред екран влияе негативно на учебните резултати

свят4 седмици ago

САЩ наложиха санкции на сръбския нефтен гигант НИС

здраве4 седмици ago

Японски учени откриха биологичната причина за мозъчната мъгла при Long COVID

топ новини3 седмици ago

Никола Саркози ще изтърпи присъда от 5 години затвор на 21 октомври

здраве4 седмици ago

Ню Йорк съди технологични гиганти за психичното здраве на младите

здраве3 седмици ago

Самотата повишава риска от смърт при пациенти с рак

политика3 седмици ago

Стармер предлага план за мир в Украйна, вдъхновен от Тръмп

здраве4 седмици ago

Глобалната продължителност на живота се възстановява, но предизвикателствата остават

спорт3 седмици ago

Катар се класира за финала на Световното първенство по футбол

здраве3 седмици ago

Самотата увеличава риска от смърт при пациенти с рак

развлечения3 седмици ago

Диана Кийтън почина на 79 години, семейството ѝ разкри причината за смъртта

здраве3 седмици ago

Рак на гърдата: Какво трябва да знаете за ранната диагностика

Trending

© Всички права запазени. Този уебсайт предлага новини и образователно съдържание с информационна цел. Въпреки че се стремим към точност, не гарантираме пълнотата или надеждността на предоставената информация. Съдържанието не трябва да се приема като професионален съвет. Препоръчваме на читателите да проверяват фактите и при необходимост да се консултират със специалисти. Не носим отговорност за загуби или неудобства, произтичащи от използването на информацията на този сайт.