Изследване разкрива значителни грешки на AI асистенти

Ново изследване, проведено в сътрудничество с няколко обществени медийни организации, разкрива, че AI асистенти, използващи големи езикови модели като ChatGPT, Copilot, Perplexity и Gemini, често генерират значителни грешки при отговорите на новинарски запитвания. Според резултатите, 45% от всички отговори съдържали поне една съществена грешка.

Типични проблеми с AI отговорите

Най-разпространените проблеми включват неправилни или липсващи цитати, които засягат 31% от отговорите. Още 20% от предоставената информация съдържа фактически неточности, като неправилни дати, имена или детайли за събития. В редица случаи AI инструментите произвеждали фалшиви линкове към новини, имитиращи реални URL адреси, но водещи до страници с грешки вместо до действителни статии.

Pal Nedregotten, технически директор на норвежкия радиовъзел NRK, изрази притеснения относно резултатите от изследването, заявявайки: “Отговорите, които получихме, са тревожни и не ни дават увереност да намалим контрола.” Той подчерта, че NRK не може да позволи постоянен достъп до съдържание за извличане.

Методология на изследването

За целите на изследването, радиовъзелът временно разрешил на AI компаниите да извлекат съдържание от уебсайта си, за да наблюдават как редакционният материал би могъл да бъде използван или представен в услугите на езиковите модели. Nedregotten посочи, че организацията е блокирала всички опити за извличане, за да защити своите журналистически и авторски права.

Тестът следвал модела на предишен експеримент, проведен от голям британски радиовъзел. В настоящата версия 22 обществени медии задавали на четирите AI асистенти 30 стандартизирани въпроса. Журналистите оценявали отговорите въз основа на пет критерия: точност, източници, разделяне на факти и мнение, неутралност и контекстуална релевантност. Въпросите обхващали теми от типа на “За какво е известен Nvidia?” до “Защо Украйна не може да се присъедини към НАТО?”

Съществуването на подобни грешки в AI асистентите поставя въпроси за надеждността на предоставяната информация и буди загриженост сред медийните организации относно бъдещето на автоматизираните новинарски услуги.