Naukowcy z Dartmouth stworzyli pierwsze narzędzie do wykrywania propagandy w języku kinyarwanda

Modele językowe potrafiące pisać poprawne zdania w kinyarwandzie okazują się bezradne, gdy trzeba w tym języku rozpoznać propagandę. Zespół badaczy z Dartmouth College zbudował pierwszy publiczny zbiór danych do wykrywania technik manipulacji w języku narodowym Rwandy, licząc na to, że stanie się on wzorem dla setek innych języków afrykańskich pomijanych w rozwoju sztucznej inteligencji.

Ślepa plamka wielkich modeli

Zespół sprawdził, jak z zadaniem wykrywania propagandy w kinyarwandzie radzą sobie ogólnodostępne modele językowe, w tym Claude i ChatGPT. Wynik był jednoznaczny: mimo że systemy te potrafią płynnie generować teksty w tym języku, przy próbie rozpoznania manipulacyjnych technik okazywały się, jak to ujęli badacze, praktycznie niefunkcjonalne.

If you ask them to complete a task that requires understanding, such as detecting propaganda, they fail significantly - Fabrice Niyigaba, Dartmouth College

To rozróżnienie jest istotne, bo zdolność do generowania płynnego tekstu w danym języku często mylona jest ze zrozumieniem tego języka. Model może poprawnie odmieniać czasowniki w kinyarwandzie i jednocześnie nie wychwycić, że dany akapit odwołuje się do lęku, uprzedzeń albo celowo sieje zamęt wśród czytelników - a to właśnie klasyczne techniki propagandowe, które KinyaProp uczy się rozpoznawać.

Jak powstawał zbiór danych

Praca nad KinyaProp nie polegała na automatycznym przetłumaczeniu istniejących angielskich zbiorów danych o propagandzie. Trzej rodzimi użytkownicy kinyarwandy przez trzy miesiące ręcznie analizowali ponad 600 artykułów prasowych, przypisując im kategorie spośród szesnastu rozpoznanych technik manipulacji. Badaczka Ivory Yang podkreśla, że dopiero taka praca od podstaw ujawniła, jak bardzo lokalne wzorce dezinformacji różnią się od tych znanych z języka angielskiego.

We learned that misinformation is expressed much differently in Kinyarwanda - Ivory Yang, Dartmouth College

Po zintegrowaniu KinyaProp z istniejącymi modelami komercyjnymi ich skuteczność w wykrywaniu propagandy w kinyarwandzie wyraźnie wzrosła, zbliżając się do poziomu, jaki te same systemy osiągają w językach dobrze reprezentowanych w danych treningowych, takich jak angielski czy arabski.

Cień ludobójstwa z 1994 roku

Kontekst tej pracy nie jest przypadkowy. W 1994 roku podczas ludobójstwa w Rwandzie zginęło ponad 800 tysięcy osób, głównie cywilów Tutsi, zabijanych przez ekstremistów Hutu w ciągu stu dni. Media, w tym radio, były wówczas jednym z kluczowych narzędzi masowej manipulacji, która poprzedzała i napędzała falę przemocy.

The news media was one of the platforms used for large-scale manipulation - Fabrice Niyigaba, Dartmouth College

Ta historia sprawia, że zdolność do szybkiego i systematycznego wykrywania propagandy w kinyarwandzie ma dla Rwandy znaczenie wykraczające poza akademicki eksperyment. Promotor projektu Soroush Vosoughi zwraca uwagę, że systemy AI, które sprawiają wrażenie kompetentnych w językach zachodnich, mogą kryć poważne luki tam, gdzie nikt ich dotąd systematycznie nie sprawdzał.

Systems that appear capable in English may leave serious blind spots - Soroush Vosoughi, Dartmouth College

Plany rozszerzenia na inne języki bantu

Autorzy traktują KinyaProp jako punkt wyjścia, a nie produkt końcowy. Zespół zapowiada budowę analogicznych zbiorów danych dla suahili i zulu, dwóch języków bantu z dziesiątkami milionów użytkowników. Metodologia wypracowana przy kinyarwandzie, oparta na ręcznym oznaczaniu treści przez rodzimych użytkowników zamiast maszynowego tłumaczenia gotowych zbiorów z angielskiego, ma posłużyć jako wzorzec dla całej rodziny języków bantu.

Dla polskiego czytelnika sprawa może wydawać się odległa geograficznie, ale pokazuje wzorzec dobrze znany także w Europie Środkowej: modele AI trenowane głównie na danych anglojęzycznych systematycznie słabiej radzą sobie z językami o mniejszej liczbie cyfrowych zasobów tekstowych. Polski nie jest tak niedoreprezentowany jak kinyarwanda, ale badania nad wykrywaniem dezinformacji w mniej popularnych językach mają bezpośrednie przełożenie na to, jak skutecznie globalne platformy AI radzą sobie z moderacją treści poza największymi rynkami.

Praca Niyigaby, Yang i Vosoughiego trafia też w szerszy nurt badań nad ograniczeniami dużych modeli językowych w zadaniach wymagających głębokiego rozumienia kontekstu kulturowego, a nie tylko poprawności gramatycznej. Kolejnym testem dla KinyaProp będzie to, czy komercyjne firmy rozwijające modele językowe zdecydują się włączyć podobne zbiory danych do swoich systemów bezpieczeństwa na stałe, a nie tylko w ramach jednorazowego eksperymentu badawczego.