Connect with us

технологии

Изследване: Само с няколко команди AI системите забравят безопасността

Редакция

Published

on

Ново изследване разкрива, че повечето мерки за безопасност на инструментите за изкуствен интелект (AI) могат да бъдат заобиколени за минути. Според доклада на компанията Cisco, AI системите „забравят“ своите предпазни мерки, колкото по-дълго потребителят взаимодейства с тях. Това увеличава вероятността те да предоставят вредна или неподходяща информация.

Cisco е оценил големите езикови модели (LLM), стоящи зад популярни AI чатботове, включително тези на OpenAI, Meta, Google, Alibaba, Mistral, Deepseek и Microsoft. В рамките на 499 разговора, изследователите използвали техника, наречена „мулти-обратни атаки“, при която злонамерени потребители задавали множество въпроси на AI инструментите, за да заобиколят мерките за безопасност.

При всеки разговор имало между пет и десет взаимодействия. Изследователите сравнили резултатите и установили, че средно 64 процента от разговорите водят до получаване на вредна информация, когато задават множество въпроси. Това е в контекста на едва 13 процента успешност при задаване на един единствен въпрос. Успехът варирал от около 26 процента с модела Gemma на Google до 93 процента с модела Large Instruct на Mistral.

Рискове от многократни атаки

Резултатите от изследването показват, че многократните атаки могат да позволят разпространение на вредно съдържание или да предоставят на хакерите „неразрешен достъп“ до чувствителна информация на компании. AI системите често не успяват да запомнят и приложат своите правила за безопасност по време на по-дълги разговори. Това означава, че нападателите могат постепенно да усъвършенстват своите запитвания и да избегнат мерките за сигурност.

Моделите с отворен код, каквито са тези на Mistral, Meta, Google, OpenAI и Microsoft, предоставят публичен достъп до конкретни параметри на безопасност, на които са обучени. Cisco отбелязва, че тези модели често имат „по-леки вградени функции за безопасност“, което позволява на потребителите да изтеглят и адаптират своите модели. Това прехвърля отговорността за безопасност на лицето, което е използвало информация с отворен код, за да персонализира своя модел.

Отговорности на компаниите за AI

Интересно е, че Cisco посочи, че компании като Google, OpenAI, Meta и Microsoft са заявили, че полагат усилия за намаляване на злонамереното пренастройване на своите модели. Въпреки това, AI компаниите са подложени на критика за недостатъчни мерки за безопасност, които улесняват адаптирането на техните системи за криминални цели.

През август 2023 г. например, американската компания Anthropic съобщи, че престъпници са използвали нейния модел Claude за извършване на мащабни кражби и изнудване на лични данни, като са искали откуп от жертви, често надхвърлящи 500 000 долара (около 433 000 евро). Тези инциденти подчертават важността на сигурността и необходимостта от по-строги мерки за предотвратяване на злоупотреби с AI технологии.

Нашият редакторски екип е посветен на предоставянето на точно и навременно отразяване на новините. С ангажимент към журналистическата почтеност, ние ви донасяме историите, които са най-важни за нашата общност.

Continue Reading
топ новини1 секунда ago

Японската FSA подкрепя партньорство за стабилни йени

технологии32 секунди ago

Honda представя първия си електрически мотоциклет WN7 на EICMA 2025

спорт2 минути ago

Експертният транспорт на Equitrans доставя елитни коне в Абу Даби

свят3 минути ago

Lufthansa запазва три типа четиридвигателни самолети до 2025 г.

политикаедин час ago

Мая Санду призовава ЕС за иновации в процеса на членство на Молдова

топ новиниедин час ago

Тайфун Калмаеги удари Виетнам: Най-малко 5 загинали

туризъмедин час ago

Ямайка се подготвя за възобновяване на туризма след урагана Мелиса

развлеченияедин час ago

Подкастът „Брюксел, моя любов?“ разкрива тайните на ЕС

здраве2 часа ago

Ашмор и Самрук-Казина основават клиника с западен бранд в Казахстан

бизнес2 часа ago

Най-важните новини от Европа на 7 ноември 2025 г.

технологии2 часа ago

Новият телескоп NewAthena ще открива свръхмасивни черни дупки

спорт2 часа ago

Мати Хенри се завръща за ОДИ срещу Западните Индии, Уилямсън пропуска

свят3 часа ago

Съкращения на полети в САЩ заради правителственото затваряне

политика3 часа ago

Дания въвежда закон за защита на гражданите от дийпфейкове

топ новини3 часа ago

Зашеметяващ ръст на Zcash: Цената надхвърли 500 долара

туризъм4 часа ago

Протестите в Танзания водят до пътувателни ограничения

развлечения4 часа ago

Анджелина Джоли посети фронтовия град Херсон в Украйна

здраве4 часа ago

Дете от Ивано-Франковск преминава сложна операция с международно признание

бизнес4 часа ago

Европейската комисия призовава България да ускори разширението на газохранилището Чирен

технологии5 часа ago

Изследване разкрива слабости на AI чатботове в разпознаване на вярвания

спорт3 седмици ago

Капитанът на Кристъл Палас Марк Гуехи напуска клуба догодина

технологии4 седмици ago

KOBIA ускорява растежа на малките и средни предприятия в Азербайджан

свят3 седмици ago

Тръмп поставя дипломацията на първо място, Зелевски се връща без новини

свят4 седмици ago

Тръмп постигна мирно споразумение в Газа – войната свърши

развлечения3 седмици ago

Семейството на Даян Кийтън благодари на феновете след смъртта ѝ

здраве3 седмици ago

Италия води в потреблението на канабис сред младите в ЕС

спорт4 седмици ago

САЩ доминира на световното първенство по стрелба с пушка

спорт3 седмици ago

Световният шампион по вдигане на тежести Карлос Насар обмисля да напусне България

образование4 седмици ago

Излишното време пред екран влияе негативно на учебните резултати

свят4 седмици ago

САЩ наложиха санкции на сръбския нефтен гигант НИС

здраве4 седмици ago

Японски учени откриха биологичната причина за мозъчната мъгла при Long COVID

топ новини4 седмици ago

Никола Саркози ще изтърпи присъда от 5 години затвор на 21 октомври

здраве4 седмици ago

Ню Йорк съди технологични гиганти за психичното здраве на младите

политика3 седмици ago

Стармер предлага план за мир в Украйна, вдъхновен от Тръмп

здраве3 седмици ago

Самотата повишава риска от смърт при пациенти с рак

здраве4 седмици ago

Глобалната продължителност на живота се възстановява, но предизвикателствата остават

спорт3 седмици ago

Катар се класира за финала на Световното първенство по футбол

здраве3 седмици ago

Самотата увеличава риска от смърт при пациенти с рак

развлечения3 седмици ago

Диана Кийтън почина на 79 години, семейството ѝ разкри причината за смъртта

развлечения4 седмици ago

Шрија Саран и дъщеря ѝ Рада показват красивата си менхди

Trending

© Всички права запазени. Този уебсайт предлага новини и образователно съдържание с информационна цел. Въпреки че се стремим към точност, не гарантираме пълнотата или надеждността на предоставената информация. Съдържанието не трябва да се приема като професионален съвет. Препоръчваме на читателите да проверяват фактите и при необходимост да се консултират със специалисти. Не носим отговорност за загуби или неудобства, произтичащи от използването на информацията на този сайт.