OpenAI обяви защо AI модели „халюцинират“ и как да се избегне това

На 15 март 2024 г. компанията OpenAI публикува ново изследване, в което обяснява защо големите езикови модели (LLMs) понякога „халюцинират“ или генерират неверни отговори. Според тях, алгоритмите, използвани в чатботовете, награждават моделите за предположения, вместо да признават, когато не знаят отговора.

Изследването подчертава, че „халюцинациите“ произлизат от грешки в бинарната класификация, при която LLMs категоризират нови наблюдения в една от две категории. Причината за продължаващите халюцинации е, че моделите са „оптимизирани да бъдат добри тестови участници, а предположенията при несигурност подобряват представянето на тестовете“. Учените сравняват това с ученици, които предполагат отговори на въпроси с избор от множество опции, за да получат точки, вместо да оставят отговора празен.

Как AI моделите могат да се подобрят

LLMs работят с точкова система, която им дава точка за правилен отговор и нула за пропуснати или невярно предоставени отговори. Въпреки новите разработки, OpenAI признава, че ChatGPT моделите в общия случай разпространяват неверни факти в 40 процента от отговорите си. Тази информация бе потвърдена от проучване на американската компания NewsGuard.

Изследването на OpenAI разкрива, че чатботовете, обучавани предварително и след това, се учат да предвиждат следващата дума в големи количества текст. Въпреки че някои области, като правописа и граматиката, следват ясни правила, има теми и типове данни, които AI трудно би могъл да разпознае. Например, алгоритмите могат да класифицират изображения, когато те са етикетирани с „котка или куче“, но ако са етикетирани след рождения ден на домашния любимец, чатботът няма да може да ги класифицира точно.

Бъдещето на AI и как да се избегнат халюцинации

Едно от основните заключения на изследователите е, че моделите никога няма да бъдат 100 процента точни, тъй като „някои реални въпроси по същество са неотговаряеми“. За да се ограничат халюцинациите, потребителите могат да инструктират LLM да отговаря с „не знам“, ако не знае отговора, и да модифицират съществуващата точкова система за типовете отговори, които предоставя.

Тези новини идват само няколко седмици след като OpenAI пусна новия модел GPT-5, който се твърди, че е „имунизиран“ срещу халюцинации и има 46 процента по-малко неверни факти в сравнение с предшественика си GPT-4.