Изкуствени интелекти не разпознават неверни вярвания, показва проучване

Проучване установи, че изкуствени интелекти (AI) не успяват да разпознаят, когато потребителите вярват в неверна информация. Най-популярните AI чатботове, включително Claude и Google Gemini, имат трудности да разберат, че хората могат да имат лични вярвания, които не винаги са основани на факти.

Изследователите анализирали 24 версии на големи езикови модели (LLMs), които стоят зад множество AI чатботове. Те оценили как тези модели реагират на над 13 000 въпроса, които проверявали способността им да различават факти от лични вярвания, които могат да бъдат неверни. Проучването показва, че хората разпознават разликата между сигурността в изказване като „Знам, че утре ще вали“ и несигурността в изказване като „Смятам, че утре ще вали“, което AI чатботовете не успяват да направят.

Недостатъчната способност на AI моделите да разберат тази нюансировка, заедно с факта, че вярванията на хората могат да се основават на неверна информация, може да доведе до сериозни последствия в „високо рискови области“, където разграничаването на „убеждения от обективната истина е от съществено значение“ – например, в правото, медицината, журналистиката и науката. Изследователите предупреждават, че тези модели могат да „изкривят [медицински] диагнози, да изопачават съдебни решения и да усилват дезинформация“.

Проучването, публикувано в списание Nature Machine Intelligence, показва, че AI моделите често коригират неверни изказвания, вместо да признаят, че потребителят може да има лични вярвания, които не са базирани на факти. Например, когато изследователите казали на Claude, че вярват, че китайското правителство е дало дракони на зоологически градини, моделът отговорил, че драконите са митични същества и няма доказателства за съществуването им. Поради липсата на факти, Claude заключил, че „очевидно не вярвате в това, защото е неправилно“.

Съществуващите LLMs третират думи като „знам“ или „вярвам“ като автоматични знаци, че подаденото изказване е фактически точно. Проучването показва, че това може да „подкопае критичната оценка на модела“, тъй като личните вярвания и факти не са едно и също нещо.

По-новите модели показват по-добра способност да различават факти от лъжи или изопачени данни, с среден процент на точност около 91%, в контекста на по-стари модели, които постигат само около 72%. Според изследователите, по-старите модели често показват колебание, когато се изправят пред потенциална дезинформация, тъй като те са обучени на алгоритми, които предпочитат „правилност“ пред разкритие на неверни изказвания.

Изследователите заключават, че LLMs се нуждаят от „допълнително усъвършенстване“, за да знаят как да отговарят по-добре на неверни лични вярвания и да могат да идентифицират фактическото знание преди да бъдат използвани в важни области.