Polskie modele AI Bielik i PLLuM na końcu rankingu, przegrywają nawet w znajomości polskiej kultury

Firma badawcza Oxido przygotowała pierwszy test dużych modeli językowych skoncentrowany na polskich zadaniach i kulturze. Wyniki zaskoczyły twórców badania: polskie modele Bielik i PLLuM uplasowały się na końcu stawki, przegrywając nie tylko z Google, ale też z chińskim Qwenem, w zadaniach, które teoretycznie powinny być ich mocną stroną.

Test miał sprawdzić coś więcej niż standardowe benchmarki międzynarodowe, które zwykle oceniają modele w języku angielskim na zadaniach matematycznych czy programistycznych. Oxido zaprojektowało zadania osadzone w polskiej rzeczywistości: pisanie firmowej korespondencji, porady prawne i podatkowe dla przedsiębiorców, poprawność językowa oraz wiedza o polskiej historii i tradycjach, w tym o Wigilii.

Zaskoczenie przy Panu Tadeuszu

Najbardziej bolesny dla twórców polskich modeli okazał się wynik w kategorii kultury narodowej. Eksperci od lat przekonywali, że modele trenowane z myślą o języku polskim powinny lepiej rozumieć niuanse historyczne i literackie niż systemy budowane głównie z myślą o rynku globalnym. Test pokazał coś przeciwnego.

Przy zadaniu recytacji pierwszych dwunastu wersów Pana Tadeusza, jednego z najbardziej rozpoznawalnych fragmentów polskiej literatury, Bielik zajął dopiero ósme miejsce spośród dwunastu testowanych modeli. PLLuM wypadł jeszcze gorzej, plasując się na trzecim miejscu od końca. Modele, które miały być polską odpowiedzią na zagraniczne giganty, przegrały na własnym boisku.

Kto wygrał ranking

Na szczycie zestawienia znalazł się model Google, co nie jest zaskoczeniem biorąc pod uwagę skalę zasobów obliczeniowych i danych treningowych dostępnych koncernowi. Zaskoczeniem był za to chiński Qwen, który uplasował się na podium i wyprzedził model Llama od Mety, mimo że nie jest kojarzony z optymalizacją pod język polski.

Taki wynik podważa dotychczasowe założenie, że lokalność treningu automatycznie przekłada się na lepsze rozumienie lokalnego kontekstu kulturowego. Duże modele globalne, trenowane na ogromnych zbiorach danych obejmujących też polskojęzyczne teksty, potrafią dziś konkurować z wyspecjalizowanymi modelami krajowymi nawet w zadaniach z zakresu rodzimej kultury.

Kwestia suwerenności technologicznej

Wyniki testu wpisują się w szerszą debatę o suwerenności technologicznej Polski w dziedzinie AI, która nabrała tempa wraz ze zbliżającym się sierpniowym terminem obowiązywania unijnego AI Act. Jeśli krajowe modele nie radzą sobie nawet w zadaniach, w których teoretycznie powinny mieć przewagę, trudno budować argument o ich strategicznej wartości wyłącznie na podstawie pochodzenia.

Wynik Bielika przy tak ograniczonych zasobach to i tak niezły rezultat - Marek Jeleśniański, autor badania

Jeleśniański zwrócił jednak uwagę, że porównanie nie jest do końca uczciwe pod względem skali. Bielik i PLLuM powstają w oparciu o znacznie mniejsze budżety obliczeniowe i zespoły badawcze niż modele takich firm jak Google, Alibaba czy Meta, które dysponują tysiącami procesorów graficznych i globalnymi zespołami inżynierskimi liczącymi setki osób.

Co dalej dla polskich modeli

Autor badania zaapelował o zwiększenie finansowania rozwoju krajowych modeli językowych, argumentując, że bez większych nakładów polskie zespoły nie będą w stanie zamknąć dystansu do globalnych liderów. Pytanie, czy taki apel przełoży się na konkretne decyzje budżetowe, pozostaje otwarte, zwłaszcza w kontekście toczącej się debaty o tym, ile powinno kosztować budowanie krajowej infrastruktury AI.

Dla firm i instytucji publicznych w Polsce wyniki testu są sygnałem, by przy wyborze modelu językowego do konkretnych zastosowań nie kierować się wyłącznie krajowym pochodzeniem narzędzia, tylko sprawdzać realne wyniki na zadaniach zbliżonych do docelowego zastosowania. Model globalny może dziś poradzić sobie z polskim kontekstem lepiej niż się powszechnie zakłada.

Źródła: Szokujący test AI: polskie modele na końcu stawki (rp.pl), Test sztucznej inteligencji. Wiadomo, jak wypadły polskie modele AI (ai.infor.pl), Polskie modele AI radzą sobie słabo. Oto wyniki testu (polskiprzemysl.com.pl).