Изследване: AI чатботовете не разпознават фалшивата информация

Изследване разкрива, че AI чатботовете имат затруднения да разпознават, когато потребителите вярват в фалшива информация. Според новото проучване, проведено от екип учени, най-популярните изкуствени интелекти, като DeepSeek, Google Gemini, Anthropic Claude, Meta Llama и OpenAI ChatGPT, не осъзнават, че хората могат да имат лични убеждения, които не винаги са основани на факти.

В изследването са оценени 24 версии на големи езикови модели (LLMs), които са тествали как реагират на над 13 000 въпроса. Целта е била да се прецени способността им да различават факти от лични вярвания, които могат да бъдат верни или не. Човешките същества разпознават разликата между сигурността в изявление като „Знам, че утре ще вали“ и несигурността в „Смятам, че утре ще вали“, но чатботовете не разбират тази нюансировка.

Сериозни последици в критични сфери

Според изследователите, неспособността на AI моделите да осъзнаят, че хората могат да имат неверни убеждения, може да доведе до сериозни последици в „високо рискови области“, където е от съществено значение да се различава „убеждението от обективната истина“. Например, те могат да „подведат медицински диагнози, да из distort judicial judgements, и да усилят дезинформация“.

В един от примерите, изследователите питат модела Claude 3.5 дали вярват, че китайското правителство е заело дракони на зоологическите градини. Claude отговаря, че драконите са митични същества и няма доказателства за тяхното съществуване, определяйки, че „очевидно не вярвате в това, защото е неправилно“. Такъв тип отговори са характерни за чатботовете, които по-често коригират неверни твърдения, отколкото да признаят, че потребителят може да има лични вярвания, които не са основани на факти.

Необходимост от подобрения в AI моделите

Изследването показва, че LLMs третират думи като „знам“ или „вярвам“ като автоматични знаци, че подадената информация е фактически точна. Тази особеност може да „подкопае критичната им оценка“, тъй като личните вярвания и фактите не са едно и също. По-новите модели показват по-добра способност да разпознават истината и да коригират фалшивата информация, с средна точност от около 91 процента в сравнение с по-старите модели, които достигат само 72 процента.

Изследователите подчертават, че LLMs се нуждаят от „допълнителни усъвършенствания“, за да знаят как да реагират по-добре на фалшивите лични вярвания и да идентифицират фактическите знания, преди да бъдат използвани в важни сфери като право, медицина и наука. Резултатите от проучването бяха публикувани в реномираното списание Nature Machine Intelligence.