Изследване разкрива слабости на AI чатботове в разпознаване на вярвания

Ново изследване разкрива, че популярните AI чатботове не успяват да разпознаят, когато потребителите вярват в невярна информация. Въпреки напредъка в изкуствения интелект, моделите на чатботовете, включително Claude, ChatGPT и Gemini, не осъзнават, че личните убеждения не винаги са основани на факти. Проучването, публикувано в журнала Nature Machine Intelligence, оценява 24 версии на големи езикови модели (LLMs) и анализира техните отговори на над 13 000 въпроса.

Изследователите установили, че хората могат да разпознават разликата между категорични изказвания, като “Знам, че утре ще вали” и несигурни, като “Вярвам, че утре ще вали”. Чатботовете, от своя страна, не притежават тази способност, което може да доведе до сериозни последици в области, където разпознаването на убеждение от обективна истина е от съществено значение. Например, в правото, медицината, журналистиката и науката, неразбирането на тези нюанси може да доведе до „изкривяване на медицински диагнози, изопачаване на съдебни решения и усилване на дезинформация“, предупреждават изследователите.

Проблемите с разпознаването на истината

В един от разговорите изследователите попитали модела Claude 3.5, дали вярва, че китайското правителство е заело дракони на зоологически градини. Claude отговорил, че драконите са митични същества и че няма доказателства за съществуването им. Тази реакция е типична за чатботовете, които по-често поправят неверни твърдения, отколкото да признаят, че потребителят може да има лични вярвания, неосноваващи се на факти.

Изследването разкрива, че LLMs третират думи като “знам” или “вярвам” като автоматични знаци за фактическа точност, което „може да подкопае критичната им оценка“. По-новите модели показват значително по-добра способност за разпознаване на факти спрямо лъжи, с точност от около 91 процента, в сравнение със стари модели, които достигат само 72 процента. Разликата в представянето се дължи на факта, че по-старите модели често показват колебание, когато са изправени пред потенциална дезинформация.

Необходимост от усъвършенстване

Изследователите смятат, че LLMs се нуждаят от „допълнително усъвършенстване“, за да могат по-добре да реагират на неверни лични вярвания и да разпознават фактите преди да бъдат използвани в важни области. Тази необходимост е все по-актуална, като се има предвид, че AI технологията продължава да навлиза във все повече сфери от ежедневието и професионалната практика.