Google DeepMind testuje model AI w trybie podwójnie ślepej próby

Google DeepMind ogłosił 27 sierpnia 2026 roku pilotaż nowej metody testowania modeli sztucznej inteligencji, w której ani zewnętrzny ewaluator, ani twórca modelu nie mają wglądu w dane drugiej strony. To pierwsza na świecie podwójnie ślepa ewaluacja modelu klasy frontier, przeprowadzona na Gemini Flash Lite.

Problem z benchmarkami

Wyniki testów AI mają sens tylko wtedy, gdy model wcześniej nie widział pytań egzaminacyjnych. W miarę jak modele stają się coraz bardziej zdolne, rośnie ryzyko, że treści z benchmarków przenikają do danych treningowych, świadomie lub przypadkiem. Wysoki wynik przestaje wtedy mierzyć rzeczywiste umiejętności modelu, a zaczyna mierzyć zwykłe zapamiętywanie.

DeepMind porównuje to do sytuacji ucznia, który zna pytania egzaminacyjne z wyprzedzeniem. Nawet jeśli odpowie poprawnie, wynik nie mówi nic wiarygodnego o jego rzeczywistej wiedzy. Dotychczas rozwiązanie tego problemu wymagało kompromisu: albo firma AI musiała ujawnić wagi modelu niezależnemu ewaluatorowi, albo ewaluator musiał przekazać firmie swoje pytania testowe, co i tak psuło ich poufność na przyszłość.

Jak działa kryptograficzne pudełko

Nowa metoda opiera się na technologii Confidential Space, części portfolio Google Cloud Confidential Computing. Tworzy ona odizolowane, zaszyfrowane środowisko obliczeniowe, w którym model i zestaw testowy spotykają się bez ujawniania swojej zawartości którejkolwiek ze stron zewnętrznych, łącznie z samym Google.

W praktyce oznacza to, że ewaluator nie ma dostępu do wag modelu Gemini Flash Lite, a Google nie widzi pytań przygotowanych przez zewnętrzną instytucję. Po zakończeniu testu obie strony dostają kryptograficzny dowód, że ich dane pozostały prywatne przez cały proces, bez konieczności wzajemnego zaufania opartego wyłącznie na deklaracjach.

Double-blind evaluations eliminate this compromise - Google DeepMind

Partnerzy pilotażu

W projekcie uczestniczą cztery organizacje zajmujące się bezpieczeństwem i ewaluacją AI: Singapore AI Safety Institute, organizacja non-profit OpenMined specjalizująca się w technologiach zachowujących prywatność, AVERI oraz MLCommons, konsorcjum znane z prowadzenia branżowych benchmarków MLPerf. Każda z nich wnosi inną perspektywę do testowania integralności wyników.

Wybór Gemini Flash Lite jako pierwszego testowanego modelu nie jest przypadkowy. To mniejszy, tańszy w uruchomieniu model z rodziny Gemini, co pozwala DeepMind przetestować cały proces techniczny na niższym ryzyku, zanim metoda zostanie zastosowana do flagowych modeli klasy frontier.

Znaczenie dla oceny modeli AI

Kontaminacja benchmarków to problem, z którym mierzy się cała branża od lat. Regulatorzy, badacze i firmy korzystające z modeli AI muszą polegać na publikowanych wynikach testów, by ocenić rzeczywiste możliwości i bezpieczeństwo danego systemu. Jeśli te wyniki można sztucznie zawyżyć, cały mechanizm porównywania modeli traci wiarygodność.

Podwójnie ślepa ewaluacja adresuje ten problem u źródła, eliminując możliwość, że model producenta zetknie się z treścią testu przed oficjalnym pomiarem, a jednocześnie chroniąc unikalność pytań ewaluatora na przyszłość. To istotne również dla niezależnych instytutów bezpieczeństwa AI, które muszą utrzymywać wiarygodność swoich testów wobec wielu producentów modeli równocześnie.

Dla polskich firm i instytucji korzystających z modeli Google, na przykład w ramach chmury czy integracji z produktami Workspace, wiarygodniejsze benchmarki oznaczają lepsze podstawy do wyboru dostawcy AI. Jeśli metoda się sprawdzi i zostanie rozszerzona na inne modele oraz innych producentów, może stać się nowym standardem branżowym przy ocenie zdolności i bezpieczeństwa systemów AI, zamiast dotychczasowych, łatwiejszych do zakwestionowania rankingów.

DeepMind nie podał na razie konkretnego terminu rozszerzenia programu na kolejne modele ani harmonogramu upublicznienia wyników pilotażu z Gemini Flash Lite. Firma zapowiedziała jedynie, że traktuje to jako pierwszy krok w kierunku bardziej odpornej na manipulację infrastruktury ewaluacyjnej dla całej branży.