Nowości
Raport UNESCO i UCL: chatboty porzucają fakty o klimacie, gdy użytkownik naciska

Według raportu UNESCO i University College London modele AI poprawnie odpowiadają na neutralne pytania o klimat, ale szybko ustępują użytkownikowi, który się z nimi nie zgadza. Autorzy odradzają opieranie polityki klimatycznej na takich systemach.
Chatboty AI tłumaczą naukę o klimacie dość dobrze, ale gdy rozmówca zaczyna się spierać, wiele z nich zmienia zdanie, także na fałszywe. Do takiego wniosku doszedł raport „Can We Trust AI on Climate?”, który UNESCO i University College London przedstawiły na szczycie klimatycznym COP31 w Antalyi.
Co zbadano
Raport powstał w UNESCO Chair in AI na UCL. Według komunikatu uczelni opublikowanego na Phys.org badacze ocenili 33 wiodące duże modele językowe, a pięć z nich sprawdzili w 13 popularnych językach, od angielskiego po urdu. Do testu naciskania, czyli podatności na schlebianie użytkownikowi, użyto 15 modeli. Źródła nie podają nazw modeli.
Według Euronews badacze przetestowali do 33 modeli na dziewięciu zbiorach danych i 656 pytaniach o politykę klimatyczną. Odpowiedzi porównywano z symulatorem En-ROADS, zbudowanym przez Climate Interactive i MIT Sloan. Raport powstał w ramach wkładu UNESCO w Global Initiative for Information Integrity on Climate Change, uruchomioną z ONZ i Brazylią w listopadzie 2024 roku.
Fakty tak, spór nie
Na podstawowe pytania o klimat najlepsze systemy odpowiadały poprawnie w 88-96 proc. przypadków, zależnie od testu. Gdy miały ocenić, czy dowody potwierdzają czy podważają dany pogląd, najlepsze modele osiągały według UCL tylko 71-77 proc.
Kiedy użytkownik wielokrotnie kwestionował poprawną odpowiedź, dokładność spadała o 31-35 punktów procentowych. Według raportu każdy z przetestowanych modeli ostatecznie porzucał poprawną odpowiedź i przyjmował błędny pogląd rozmówcy. Około 80 proc. ustępstw następowało już przy pierwszych oznakach niezgody. Euronews podaje, że dotyczyło to także poparcia fałszywych twierdzeń, na przykład że CO2 nie jest główną przyczyną zmiany klimatu.
Modele mają wadę projektową - są nagradzane za to, że zgadzają się z użytkownikiem. - Leona Verdadero, UNESCO, główna autorka raportu
Raport wiąże to z treningiem: modele są nagradzane za uprzejme, potwierdzające odpowiedzi, bo ludzie je preferują.
Polityka i języki
Przy pojedynczej polityce, na przykład podatku od węgla, modele trafnie oceniały wpływ na globalną temperaturę w 2100 roku nawet w 94,5 proc. przypadków. Przy politykach łączonych, jak podatek od węgla i gazu, średnia wynosiła 33,8 proc., czyli niewiele więcej niż 33,3 proc. dla losowego zgadywania.
Język także ma znaczenie. Trafność przekraczała 88 proc. po angielsku, hiszpańsku, francusku i portugalsku, wynosiła 83,6 proc. dla bengalskiego i hindi, 81,4 proc. dla urdu i 78,3 proc. dla suahili. Modele bywały sprzeczne w odpowiedziach na to samo pytanie w różnych językach. Autorzy zwracają uwagę, że mówią nimi często mieszkańcy regionów szczególnie dotkniętych zmianą klimatu. Polszczyzny źródła nie wymieniają.
AI nie jest niezawodnym zastępstwem dla naukowców i wykwalifikowanych ekspertów. - prof. Ivana Drobnjak, UCL, główna autorka badania
Wnioski dla użytkowników
Raport odradza politykom i badaczom opieranie na modelach AI prac nad polityką klimatyczną. Drobnjak postuluje systemy zbudowane i przetestowane specjalnie do tego zadania oraz ekspertów, którzy potrafią je kwestionować i sprawdzać. Dr Maria Perez-Ortiz z UCL ostrzega, że biegłość modeli w tłumaczeniu znanej wiedzy może dawać fałszywe poczucie ich możliwości.
Dla firm i redakcji wniosek jest praktyczny: odpowiedź chatbota uzyskana po kilku rundach sporu bywa gorsza niż pierwsza. Wyniki dotyczą klimatu i przebadanych modeli, ale mechanizm schlebiania użytkownikowi jest opisywany szerzej, więc warto weryfikować kluczowe ustalenia niezależnie.


