Изследване разкрива недостатъци в отговорите на AI чатботове за самоубийство

Изследване на непрофитната организация РАНД Корпорейшън установи, че водещите AI чатботове, включително ЧатGPT, не успяват да предоставят последователни отговори на запитвания, свързани с темата за самоубийството. Въпреки че тези чатботове имат ефективни механизми за защита срещу високорискови въпроси, потребителите могат да заобиколят тези ограничения, задавайки запитвания с умерен риск.

Изследването, публикувано в списанието Психиатрични услуги, показва, че ЧатGPT и Клауд дават адекватни отговори на много нискорискови въпроси, като информация за проценти на самоубийства по региони, в 100% от случаите. Обаче, когато става въпрос за въпроси с умерен риск, например за насоки за хора с suicidal thoughts, чатботовете не предоставят последователни отговори.

Проблеми с отговорите на AI чатботовете

Изследователите от РАНД Корпорейшън съставиха списък от 30 въпроса, свързани с самоубийствата, и помолиха експертни клиницисти да оценят всеки от тях с числов рейтинг на риска. Всеки от въпросите е бил зададен на ЧатGPT, Клауд и Джемини 100 пъти, което е довело до 9 000 отговора за анализ.

Резултатите показват, че Клауд е по-вероятно да предостави директни отговори в сравнение с ЧатGPT, докато Джемини рядко е генерирал директни отговори на въпроси, свързани със самоубийства, независимо от нивото на риск. Според Раян МакБейн, главен автор на изследването, чатботовете предоставят адекватни отговори за много нискорискови и много високорискови въпроси, но остават значителни разлики в отговорите на междинни нива.

Необходимост от подобрения в AI системите

Въпреки наличието на механизми за безопасност, изследването подчертава, че чатботовете остават уязвими на манипулации, които могат да доведат до предоставяне на съвети за самоубийство. Нортийстърн университет наскоро публикува проучване, показващо, че популярни чатботове могат да бъдат манипулирани да дават съвети за самоубийство и самонараняване.

В отговор на изследването, представител на OpenAI заяви, че ЧатGPT е обучен да насърчава потребителите, които изразяват мисли за самоубийство, да се свързват с психични здравни специалисти и че предоставя линкове към ресурси, като кризисни линии. Според МакБейн, съществува необходимост от допълнителна прецизност, за да се гарантира, че чатботовете предоставят безопасна и ефективна информация за психичното здраве, особено в ситуации, свързани с suicidal ideation.