Изследване предупреждава за рисковете от ChatGPT в здравеопазването

Според ново изследване, ChatGPT Health не разпознава адекватно случаите, изискващи спешна медицинска помощ. Всеки седмица над 230 милиона потребители се обръщат към ChatGPT за медицински съвети, които варират от проверка на безопасността на храните до справяне с алергии и лечение на настинки. Въпреки доброто представяне при стандартни случаи, изследването, публикувано в Nature, показва, че ChatGPT не съумява да предложи спешна помощ в критични ситуации.

Изследването, ръководено от Ашвин Рамасвами от Mount Sinai в Ню Йорк, установява, че докато инструментът правилно обработва ясни спешни случаи, той подценява над 50% от случаите, които изискват бърза медицинска намеса. „Зададохме един основен, но критичен въпрос: ако някой изпитва реална медицинска спешност и се обръща към ChatGPT Health за помощ, ще му бъде ясно указано да отиде в спешното отделение?“ – коментира Рамасвами.

Проблеми с идентификацията на спешните случаи

Част от изследването включва създаването на 60 структурирани клинични сценария в 21 медицински специалности, обхващащи случаи от незначителни оплаквания до реални спешности. Трима независими лекари оценили нивото на спешност за всеки случай, основавайки се на насоки от 56 медицински организации. Въпреки че ChatGPT Health демонстрира добро представяне при класически спешни ситуации, като инсулт или тежки алергични реакции, той не успя да реагира адекватно в случаи, където опасността не е веднага очевидна.

В един от сценариите, свързани с астма, системата идентифицирала ранни признаци на респираторна недостатъчност, но все пак съветвала да се изчака, вместо да се потърси спешно лечение.

Рискове при саморазрушителни намерения

Изследването също така разгледа как моделът реагира на потребители, съобщаващи за намерения за саморазрушение. Според авторите, ChatGPT Health трябва да бъде програмиран да насочва потребителите да търсят помощ и да се обадят на публичен здравен номер, когато споменават саморазрушителни намерения. Въпреки това, банерът „Помощ е налична“, свързан с кризисна линия, се появявал несигурно по време на изследването.

„Моделът не просто проявяваше несъответствие, а парадоксално инвертираше отговорите в зависимост от клиничната тежест“, добавят изследователите.

Въпреки тревожните резултати, изследователите не предлагат потребителите да се откажат от AI инструментите за здравеопазване. „Като студент по медицина, обучаващ се в момент, когато AI инструментите вече са в ръцете на милиони, ги виждам като технологии, които трябва да научим да интегрираме внимателно в грижата за пациентите, а не като заместители на клиничното решение“, коментира Алвира Тяги, вторият автор на изследването.

Авторите съветват хората, които изпитват влошаване на симптомите, включително болки в гърдите, затруднено дишане или промени в психичното здраве, да потърсят медицинска помощ директно, вместо да разчитат единствено на чатбота. Важно е да се отбележи, че AI езиковите модели постоянно еволюират и често се актуализират, което значи, че представянето им може да се променя с времето. „Започвайки медицинското обучение заедно с инструменти, които се развиват в реално време, става ясно, че резултатите днес не са окончателни“, заключава Тяги.