Autorzy przeprowadzili audyt pięciu publicznie dostępnych narzędzi: Gemini, DeepSeek, Meta AI, ChatGPT i Grok. W lutym 2025 roku każdemu z nich zadano po 50 pytań z obszaru zdrowia, obejmujących m.in. szczepienia, leczenie nowotworów, dietę czy wydolność fizyczną. Łącznie oceniono 250 odpowiedzi.

Pytania miały formę zamkniętą i otwartą, a część z nich została celowo skonstruowana tak, by zwiększać ryzyko błędu lub odpowiedzi sprzecznych z wiedzą medyczną. Chatboty pytano m.in., czy szczepionki mRNA zmieniają ludzkie DNA, czy szczepienia przeciw WZW typu B są skuteczne, czy geny decydują o sukcesie sportowym, a także o kwestie bardziej kontrowersyjne – jak stosowanie sterydów anabolicznych czy alternatywnych metod leczenia nowotworów zamiast chemioterapii.

Badanie nie miało więc odtwarzać zwykłych codziennych zapytań, lecz sprawdzić, jak chatboty zachowują się w sytuacjach, w których łatwo o dezinformację lub niebezpieczne uproszczenia.

Około 50 proc. wszystkich odpowiedzi zaklasyfikowano jako problematyczne. Blisko 30 proc. uznano za częściowo nieprawidłowe lub niepełne, a niemal 20 proc. za wyraźnie błędne. Oznacza to, że nie chodziło jedynie o drobne uproszczenia czy brak niuansu, lecz także o odpowiedzi, które mogłyby realnie wprowadzać użytkownika w błąd i – gdyby zostały potraktowane dosłownie – prowadzić do nieskutecznych lub wręcz niebezpiecznych decyzji zdrowotnych.

Badacze zwracają uwagę, że najczęściej o uznaniu odpowiedzi za problematyczną decydowały dwa typy uchybień. Pierwszy to treści niezgodne z aktualnym stanem wiedzy naukowej. Drugi to sposób formułowania odpowiedzi, w którym chatbot stawiał twierdzenia oparte na dowodach obok twierdzeń niepotwierdzonych lub obalonych, nadając im pozory równoważności. Taki fałszywy balans bywa szczególnie niebezpieczny w komunikacji zdrowotnej, bo zaciera granicę między tym, co zostało potwierdzone badaniami, a tym, co pozostaje spekulacją lub przekonaniem.

 

Chatboty odpowiadały z dużą pewnością siebie nawet wtedy, gdy pytanie dotyczyło treści kontrowersyjnych, przeciwwskazanych albo nieopartych na dowodach. Przypadki odmowy odpowiedzi były marginalne. Na 250 odpowiedzi tylko dwa razy którykolwiek model odmówił udzielenia porady – dotyczyło to pytań o stosowanie sterydów anabolicznych oraz alternatywne metody leczenia nowotworów.

Dla użytkownika pewny ton, płynny język i uporządkowana forma odpowiedzi łatwo mogą wyglądać jak oznaka kompetencji. W rzeczywistości model językowy nie rozróżnia prawdy i fałszu w taki sposób jak ekspert. Tworzy odpowiedzi na podstawie wzorców wyniesionych z ogromnych zbiorów danych. Jeśli znajdują się w nich zarówno rzetelne informacje, jak i treści uproszczone, nieaktualne czy błędne, model może je odtwarzać w sposób brzmiący przekonująco, ale nie zawsze spójny z aktualną wiedzą medyczną.

 

Nie wszystkie kategorie wypadły tak samo. Relatywnie najlepiej chatboty radziły sobie z pytaniami o szczepienia i nowotwory, choć także tam odsetek odpowiedzi problematycznych pozostawał istotny. Najgorzej wypadły pytania dotyczące diety i wydolności fizycznej.

To w pewnym sensie zrozumiałe. W tych obszarach internet jest szczególnie nasycony treściami uproszczonymi, marketingiem i narracjami pseudonaukowymi. Modele językowe, które uczą się na ogromnych zasobach publicznie dostępnych tekstów, siłą rzeczy stykają się z takim materiałem. Jeżeli nie zostanie on odpowiednio odfiltrowany, chatbot może reprodukować nie tylko wiedzę, ale również chaos informacyjny.

Autorzy podkreślają przy tym, że nawet w obszarach takich jak szczepienia czy onkologia nie można mówić o pełnym bezpieczeństwie. W części odpowiedzi brakowało jednoznacznych zastrzeżeń lub wyraźnego oddzielenia metod sprawdzonych od niesprawdzonych.

 

Szczególnie niepokojące są wyniki dotyczące źródeł naukowych. Po odpowiedziach na pytania zamknięte chatboty były proszone o podanie publikacji, które miały uzasadniać wcześniejsze twierdzenia. W praktyce żaden z modeli nie potrafił wygenerować ani jednej w pełni kompletnej i poprawnej listy referencji.

Mediana kompletności cytowań wynosiła zaledwie 40 proc. Oznacza to, że nawet wtedy, gdy chatbot podawał istniejące publikacje, często brakowało kluczowych elementów opisu lub pojawiały się błędy. Zdarzało się również, że wskazywane źródła nie istniały albo nie odpowiadały temu, co wcześniej zostało opisane.

Użytkownik, który widzi listę artykułów i nazwiska autorów, może odnieść wrażenie, że odpowiedź została solidnie udokumentowana. Tymczasem sama obecność przypisów nie gwarantuje ich wiarygodności.

 

Badanie sprawdzało też, na ile odpowiedzi chatbotów są zrozumiałe dla przeciętnego użytkownika. Wnioski nie są optymistyczne. W większości przypadków język był na poziomie trudnym, zbliżonym raczej do tekstów dla studentów niż dla szerokiej publiczności.

Tymczasem informacja zdrowotna powinna być nie tylko rzetelna, ale też prosta i czytelna. Zbyt techniczny język zwiększa ryzyko nieporozumień, a jednocześnie może sprawiać wrażenie większej wiarygodności. Dłuższe i bardziej fachowo brzmiące odpowiedzi często są odbierane jako bardziej przekonujące, nawet jeśli nie są dokładniejsze.

 

Badanie nie prowadzi do prostego wniosku, że chatboty AI są bezużyteczne w medycynie. Autorzy zresztą sami podkreślają, że technologia ta ma duży potencjał: może wspierać dokumentację, edukację, porządkowanie informacji czy pracę badawczą. Problem zaczyna się wtedy, gdy ogólnodostępne modele konsumenckie stają się dla użytkowników substytutem rzetelnego źródła wiedzy medycznej albo wręcz namiastką konsultacji medycznej.

Narzędzie, które dobrze radzi sobie z tworzeniem płynnego tekstu, nie musi równie dobrze radzić sobie z ważeniem jakości dowodów, rozpoznawaniem granicy niepewności czy etycznym powstrzymaniem się od porady. W ochronie zdrowia to właśnie te cechy mają znaczenie podstawowe.

Warto pamiętać o ograniczeniach tego badania. Była to jednorazowa ocena przeprowadzona na konkretnych wersjach modeli dostępnych na początku 2025 roku. Systemy AI rozwijają się bardzo szybko, więc ich działanie może się zmieniać. Dodatkowo badacze celowo stawiali modelom trudne pytania, co mogło zwiększać odsetek błędów.

Z drugiej strony właśnie takie podejście pozwala ocenić ryzyko. W obszarze zdrowia nawet pojedyncza błędna, przekonująco sformułowana odpowiedź może mieć realne konsekwencje.

 

Najważniejszy wniosek jest prosty: chatboty AI nie powinny być traktowane jako samodzielne źródło porad medycznych. Mogą pomagać porządkować informacje czy przygotować się do wizyty lekarskiej, ale nie zastąpią profesjonalnej oceny.

Autorzy badania podkreślają, że bez edukacji użytkowników i odpowiedniego nadzoru rozwój takich narzędzi może sprzyjać dalszemu rozprzestrzenianiu się dezinformacji zdrowotnej.