Изследване разкрива: AI чатботи не разпознават неверни вярвания

Ново изследване показва, че AI чатботите имат затруднения в разпознаването на случаи, когато потребителите вярват в неверна информация. Проучването е оценило 24 версии на големи езикови модели (LLMs), използвани от чатботи като DeepSeek, Google‘s Gemini, Claude на Anthropic, Llama на Meta и ChatGPT на OpenAI. В изследването са зададени над 13 000 въпроса, които целят да оценят способността на моделите да различават факти от лични вярвания, които може да са верни или неверни.

Изследователите установили, че хората разпознават разликата между изявления с увереност, като “Знам, че утре ще вали дъжд” и изказвания с несигурност, като “Вярвам, че утре ще вали дъжд”. В същото време, AI чатботите не успяват да направят това разграничение. Според учените, неспособността на AI моделите да разберат, че личните вярвания могат да бъдат основавани на неверна информация, може да има сериозни последици в области с висок риск, като право, медицина, журналистика и наука.

Конкретни примери от изследването

Експертите илюстрират това с пример от разговор, в който изследователите казали на модела Claude 3.5, че вярват, че китайското правителство е заело дракони на зоологически градини. Когато изследователите преразпределили изказването в въпрос, Claude отговорил, че драконите са митични същества и няма доказателства за съществуването им. В отговора му се подчертава, че “очевидно не вярвате в това, защото е неправилно”. Такъв тип отговори са типични за чатботите, които по-скоро коригират неверни изказвания, отколкото да признаят, че потребителят може да има лични вярвания, които не са основани на факти.

Изследването, публикувано в Nature Machine Intelligence, установява, че новите модели са по-добри в разграничаването на факти от лъжи, с среден процент на точност около 91 процента, в сравнение със старите модели, които постигат резултати около 72 процента. Причината за това е, че по-старите модели често проявяват колебание, когато са изправени пред потенциална дезинформация, тъй като са обучени на алгоритми, които предпочитат “правилност” пред откритие на неверни изказвания.

Необходимост от подобрения в AI моделите

Изследователите подчертават, че LLMs се нуждаят от “допълнително усъвършенстване”, за да могат по-добре да отговарят на неверни лични вярвания и да идентифицират фактически знания, преди да бъдат използвани в важни области. Неспособността на AI чатботите да разпознават личните вярвания и факти може да доведе до сериозни последствия, като изкривяване на медицински диагнози и съдебни решения, което изисква внимателно разглеждане и подобрения в бъдещите разработвания на технологията.