Google i Artificial Analysis publikują test MKA: 200 zadań dla agentów AI pracujących na plikach z obrazem

Google opublikowało 10 listopada 2026 roku opis benchmarku Multimodal Knowledge Agent (MKA), przygotowanego razem z firmą Artificial Analysis. Test ma sprawdzać, jak agenci AI radzą sobie z pracą opartą na plikach o złożonej warstwie wizualnej, takich jak plany budowlane, schematy techniczne, raporty, prezentacje i arkusze kalkulacyjne.

Po co kolejny benchmark

Autorzy wpisu, Rohan Doshi i Ben Caine z Google DeepMind, argumentują, że większość testów pracy umysłowej da się rozwiązać samym tekstem. MKA ma wypełnić tę lukę zadaniami, w których trzeba czytać plany, śledzić schematy i przygotowywać gotowe dokumenty.

Zadania powstały we współpracy z ekspertami z 10 branż i 83 zawodów, w których codzienna praca jest z natury wizualna. Wśród autorów byli według Google m.in. architekci, biolodzy, underwriterzy i analitycy danych.

Jak działa ocena

Każde zadanie zawiera realistyczne polecenie, zestaw plików wejściowych z obrazem i rubrykę napisaną przez eksperta. Wszystkie modele działają w tym samym otwartym środowisku agentowym Stirrup, z identycznymi narzędziami, piaskownicą i limitem tur.

Wyniki ocenia agentowy autorater zbudowany na modelu spoza Google. Otwiera on pliki, renderuje strony, sprawdza formuły w arkuszach i porównuje rezultat z rubryką. Eksperci, którzy oceniali wyniki samodzielnie, zgadzali się z nim w 96 proc. przypadków, co jest jednak danymi z materiałów samego Google.

Pełny zestaw 200 zadań prowadzi i utrzymuje w tajemnicy Artificial Analysis, żeby nie trafił do danych treningowych ani nie dał się znaleźć wyszukiwarką. Osobny zestaw 10 zadań publicznych jest dostępny na Hugging Face, do podejrzenia formatu i testowania własnych agentów.

Co pokazały wyniki

Według raportu technicznego modele frontier pracują bardzo różnie: średnio zużywały od 30 do 130 tur na zadanie. Google twierdzi, że to ujawnia duże różnice w efektywności, a także że mocna percepcja wizualna jest dla tych zadań konieczna.

Gemini 4 Carbon zajął drugie miejsce pod względem jakości i według Google wykonuje zadania średnio sześć razy taniej niż model z najwyższym wynikiem. Wpis nie podaje jednak nazwy lidera, liczbowych wyników ani kosztów w dolarach w tekście, a lista pozostałych testowanych modeli nie jest w nim wymieniona. Cała ocena pochodzi z materiałów firmy, która sprzedaje oceniany model.

Co z tego dla firm

Dla zespołów wdrażających agentów do pracy na dokumentach MKA daje dodatkowy punkt odniesienia obok testów tekstowych. Własne modele można sprawdzić na stronie Artificial Analysis, a Gemini 4 Carbon jest według Google dostępny przez Gemini API w Google AI Studio. Ze względu na to, że autorem jest producent jednego z modeli, warto porównać wyniki z niezależnymi pomiarami.