Badanie: lekarze bezkrytycznie ufają rekomendacjom AI nawet gdy leczenie nie działa

Lekarzy biorących udział w eksperymencie oszukano dwukrotnie tym samym sposobem: system sztucznej inteligencji podpowiadał im, którzy pacjenci odniosą korzyść z leczenia, a mimo to badani nie potrafili zauważyć, że w drugiej części testu terapia nie działała u nikogo. Naukowcy z Uniwersytetu Kraju Basków w Hiszpanii ostrzegają, że to nie pojedynczy błąd poznawczy, lecz powtarzalny wzorzec, który może zagrażać bezpieczeństwu pacjentów w miarę jak algorytmy wchodzą do codziennej praktyki klinicznej.

W eksperymencie lekarze anonimowo logowali się do symulacji online, w której podejmowali decyzje o leczeniu hipotetycznych pacjentów cierpiących na rzadką, fikcyjną chorobę. System AI podpowiadał im, którzy pacjenci prawdopodobnie skorzystają z terapii, a badani mogli na bieżąco śledzić rzeczywiste wyniki leczenia poszczególnych osób i konfrontować je z rekomendacjami algorytmu.

Dwa eksperymenty, jeden wzorzec

W pierwszej części badania leczenie działało umiarkowanie skutecznie i mniej więcej tak samo u wszystkich pacjentów, niezależnie od tego, co sugerował algorytm. W drugiej części naukowcy poszli o krok dalej: terapia była całkowicie nieskuteczna u każdego pacjenta, a mimo to system AI nadal wystawiał swoje rekomendacje, którym lekarze mogli zaufać albo je odrzucić na podstawie obserwowanych wyników.

W obu wariantach lekarze ocenili system AI jako wiarygodny i w praktyce nie wykorzystywali dostępnych im danych o powrocie pacjentów do zdrowia, by zweryfikować trafność rekomendacji. W drugim eksperymencie, mimo że leczenie nie przynosiło żadnego efektu u nikogo, badani nie doszli do wniosku, że sugestie algorytmu były bezwartościowe.

Dlaczego lekarze nie zauważają błędów

Autorzy nazywają ten mechanizm trudnością w uczeniu się na podstawie dowodów sprzecznych z sugestią algorytmu. Innymi słowy, gdy system raz zyska status wiarygodnego źródła, ludzie, w tym wykwalifikowani specjaliści, mają skłonność do ignorowania kolejnych sygnałów świadczących o tym, że system się myli, zamiast rewidować swoją ocenę.

Profesjonaliści mieli trudności w nauce na podstawie dostępnych danych, gdy przeczyły one sugestiom algorytmu - Aranzazu Vinas, Uniwersytet Kraju Basków

Współautorka badania Helena Matute podkreśla, że problem nie dotyczy wyłącznie medycyny ani wyłącznie lekarzy, choć w tym zawodzie stawka błędu jest najwyższa.

Lekarze, tak jak wszyscy inni, mają problemy w uczeniu się z dostępnych dowodów, gdy są one sprzeczne z sugestiami algorytmu - Helena Matute, Uniwersytet Kraju Basków

Podobne wyniki w innych badaniach

Wyniki z Hiszpanii nie są odosobnione. W randomizowanym badaniu klinicznym opublikowanym w czasopiśmie NEJM AI lekarze przeszkoleni w zakresie korzystania z AI, którzy otrzymali od modelu językowego celowo błędne sugestie diagnostyczne, uzyskali gorsze wyniki rozumowania klinicznego niż grupa pracująca bez takich zakłóceń, 73,3 procent wobec 84,9 procent. Trafność wskazania właściwej diagnozy jako pierwszej opcji spadła z 90,5 do 76,1 procent.

Co istotne, samo przeszkolenie lekarzy w zakresie umiejętności korzystania z AI nie chroniło ich przed automatycznym zawierzeniem błędnym podpowiedziom. Oba badania wskazują na ten sam mechanizm: kiedy system raz okaże się pomocny, ludzie przestają go krytycznie weryfikować, nawet dysponując danymi, które powinny wzbudzić wątpliwości.

Co to oznacza dla pacjentów

Autorzy badania z Kraju Basków podkreślają, że wyniki nie oznaczają, iż systemy wspierające decyzje kliniczne trzeba wycofać z gabinetów. Chodzi raczej o to, że wdrażanie takich narzędzi musi iść w parze z protokołami wymuszającymi na lekarzach regularną, aktywną weryfikację rekomendacji, a nie tylko bierną akceptację.

Dla systemów opieki zdrowotnej, które dopiero wdrażają narzędzia AI do wspomagania diagnostyki i dokumentacji, w tym również placówek w Polsce testujących takie rozwiązania, wnioski z badania są konkretną wskazówką: sam fakt korzystania z algorytmu nie gwarantuje czujności personelu, a szkolenia z obsługi narzędzia to nie to samo co szkolenie z krytycznej oceny jego wyników.

Źródła: PLOS Digital Health (journals.plos.org), Medical Xpress (medicalxpress.com), News-Medical (news-medical.net), NEJM AI (ai.nejm.org)