Рискове при използване на ChatGPT за медицински съвети

Според ново проучване, ChatGPT Health не успява да разпознае кога потребителите се нуждаят от спешна медицинска помощ. Всеки месец над 230 милиона души се обръщат към ChatGPT за медицински съвети – от проверка на безопасността на храната до управление на алергии и намиране на средства за облекчаване на настинка. Въпреки добрите резултати при стандартни случаи, инструментът не успява да предостави адекватни съвети за спешна помощ в сериозни ситуации.

Проучването, публикувано в списание Nature, разкрива, че ChatGPT Health правилно обработва ясни спешни случаи, но подценява над половината от случаите, изискващи спешна медицинска намеса. „Искахме да отговорим на много основен, но критичен въпрос: ако някой изпитва истинска медицинска спешност и се обръща към ChatGPT Health за помощ, ще му бъде ясно казано да отиде в спешното отделение?“, сподели Ашвин Рамасвами, водещ автор на проучването от Mount Sinai в Ню Йорк.

Недостатъци в разпознаването на рискове

Според Рамасвами, ChatGPT Health показва добри резултати при класически спешни случаи, като инсулт или тежки алергични реакции. Той обаче отбеляза, че езиковият модел има трудности в ситуации, при които опасността не е очевидна. Например, в случай на астма, системата идентифицира ранни предупредителни знаци за респираторна недостатъчност, но все пак съветва да се изчака, вместо да се потърси спешно лечение.

Изследователският екип е създал 60 структурирани клинични сценария в рамките на 21 медицински специалности, обхващащи случаи от леки състояния, подходящи за домашна грижа, до истински медицински спешности. Три независими лекари определиха правилното ниво на спешност за всеки случай, използвайки насоки от 56 медицински дружества.

Реакция на саморазрушителни намерения

Проучването също така разгледа как моделът реагира на потребители, съобщаващи за намерения за самоувреждане, и установи аналогични резултати. ChatGPT Health е проектиран да насърчава потребителите, когато споменат самоувреждане или suicidalни мисли, да потърсят помощ и да се свържат с обществено здравен номер. Въпреки това, банерът „Помощта е налична“, свързан с линията за помощ при самоубийства и кризи, се появява несъобразно в хода на проучването.

Авторите отбелязаха, че системата реагира по-надеждно на пациенти, които не са идентифицирали средство за самоувреждане, отколкото на тези, които са. „Моделът не само, че е несъобразен, но и парадоксално обърнат спрямо клиничната тежест“, твърди проучването.

Въпреки тревожните открития, изследователите не предлагат на потребителите да се откажат напълно от AI здравни инструменти. „Като медицински студент, обучаващ се в период, когато AI здравните инструменти вече са в ръцете на милиони, ги виждам като технологии, които трябва да интегрираме внимателно в грижата, а не като заместители на клиничното съдействие“, сподели Алвира Тяги, втори автор на проучването.

Авторы на проучването съветват хората, които изпитват влошаващи се или притеснителни симптоми, включително болка в гърдите, недостиг на въздух, тежки алергични реакции или промени в психичното състояние, да потърсят медицинска помощ директно, вместо да разчитат единствено на насоки от чатбота. Те подчертават, че AI езиковите модели постоянно се развиват и често се актуализират, което означава, че представянето може да се променя с времето.

„Започването на медицинско обучение покрай инструменти, които се развиват в реално време, показва, че резултатите от днешния ден не са окончателни“, добави Тяги. Тя подчерта, че бързо променящата се реалност изисква постоянно преглеждане, за да се гарантира, че подобренията в технологията превеждат в по-безопасна медицинска помощ.