OpenAI откри защо ИИ моделите „халюцинират“ и как да се предотврати

OpenAI обяви, че е установила причините, поради които големите езикови модели (LLMs) понякога „халюцинират“, тоест предоставят неверни отговори, когато не са сигурни. В ново изследване компанията разкрива, че алгоритмите възнаграждават чатботовете за предположения, вместо да признават, че не знаят отговора. Тези „халюцинации“ произтичат от грешки в бинарната класификация, когато LLM-ите категоризират нови наблюдения в една от две категории.

Изследователите подчертават, че „халюцинациите“ са резултат от оптимизацията на моделите за постигане на високи резултати на тестове. Според доклада, подобно на студенти, които се опитват да предполагат отговорите на тестове с множество избори, LLM-ите също получават точки за верни отговори, но не и за оставени празни полета или за признаване на незнание. Системата за точки предоставя предимство на моделите да отговарят, дори когато не са сигурни.

Как OpenAI планира да ограничи „халюцинациите“

Изследването на OpenAI идва само няколко седмици след пускането на GPT-5, модела, който компанията твърди, че е „устойчив на халюцинации“ и предлага с 46% по-малко неверни отговори в сравнение с предшественика си GPT-4. Въпреки това, проучване на компанията NewsGuard установи, че моделите на ChatGPT разпространяват неверни факти в 40% от своите отговори.

Изследването също така посочва, че някои въпроси са „по същество неизменяеми“ за AI. Чатботовете, обучавани предварително и след обучение, усвояват как да предсказват следващата дума в големи обеми текст. Въпреки че правописът и граматиката следват ясни правила, има много теми или типове данни, които остават трудни, ако не и невъзможни, за идентификация от страна на ИИ. Например, алгоритмите могат да класифицират изображения, но ако те са обозначени след рождения ден на животното, чатботът няма да може да ги категоризира точно.

Предложения за подобрение на точността на AI моделите

Според изследователите, моделите никога няма да бъдат 100% точни, тъй като „някои въпроси от реалния свят са по природа неизменяеми“. За да се ограничат „халюцинациите“, OpenAI предлага на потребителите да инструктират LLM да отговаря с „не знам“, когато не разполага с информация, и да модифицират съществуващата система от точки за типовете отговори, които дават. Тази промяна може да подобри точността и надеждността на предоставяните отговори от AI.