Gemini zyskuje agentywne rozumienie wideo, oszczędza do 88 procent tokenów

Google DeepMind uruchomił 1 września 2026 roku nową funkcję w Gemini, która zmienia sposób, w jaki model przetwarza materiały wideo. Zamiast oglądać każdy film w ten sam, sztywny sposób, agentywne rozumienie wideo pozwala modelowi samodzielnie decydować, które fragmenty nagrania są istotne, z jaką częstotliwością je próbkować i czy sięgnąć po obraz, ścieżkę dźwiękową czy transkrypcję.

Za projektem stoją Rohan Doshi, starszy product manager w Google DeepMind, oraz Mario Lučić, dyrektor badawczy tej samej organizacji. W opisie funkcji podkreślają, że dotychczasowe podejście do analizy wideo traktowało każdy plik jednakowo, bez względu na to, czy chodzi o kilkunastosekundowy klip, czy kilkugodzinne nagranie z konferencji.

Jak działa nowy tryb

W klasycznym trybie Gemini analizuje wideo klatka po klatce w stałym tempie, co oznacza, że model zużywa tyle samo zasobów obliczeniowych na statyczne, nieistotne fragmenty co na kluczowe momenty akcji. Tryb agentywny odwraca tę logikę: model najpierw formułuje plan analizy pod kątem konkretnego pytania użytkownika, a następnie samodzielnie sięga po narzędzia, które ładują tylko potrzebne wycinki materiału.

W praktyce oznacza to, że przy pytaniu o konkretny moment w wielogodzinnym nagraniu model nie musi przetwarzać całego pliku od początku do końca. Może przeskoczyć do prawdopodobnego przedziału czasowego, zwiększyć tam częstotliwość próbkowania klatek, a w pozostałych fragmentach ograniczyć się do ścieżki audio lub transkrypcji tekstowej.

Włączenie nowego trybu wymaga jednej zmiany w wywołaniu API: parametr processing przy wejściu wideo trzeba ustawić na wartość agentic zamiast domyślnej, statycznej. Reszta logiki, w tym wybór narzędzi i tempa próbkowania, odbywa się już po stronie modelu.

Efekty w liczbach

Google DeepMind podaje, że w testach wewnętrznych nowy tryb obniżył koszty analizy wideo nawet o 66 procent, a łączne zużycie tokenów nawet o 88 procent w porównaniu z klasycznym, statycznym przetwarzaniem. Jednocześnie dokładność odpowiedzi modelu wzrosła nawet o 7 procent, co firma tłumaczy tym, że model poświęca więcej uwagi fragmentom faktycznie istotnym dla zadanego pytania, zamiast rozpraszać zasoby na cały materiał po równo.

Według Google model Gemini 3.7 Flash z włączonym trybem agentywnym osiąga najlepszy stosunek dokładności do kosztu spośród testowanych konfiguracji do rozumienia wideo. To istotna zmiana dla firm, które do tej pory musiały wybierać między tańszym, ale mniej precyzyjnym przetwarzaniem a droższą, pełną analizą klatka po klatce.

Zastosowania w praktyce

Google wskazuje kilka konkretnych scenariuszy, w których nowy tryb ma się sprawdzać najlepiej. Pierwszy to precyzyjne wyszukiwanie momentów w materiale, przydatne przy automatycznym montażu wideo, gdzie liczy się dokładność co do ułamka sekundy. Drugi to przeszukiwanie długich nagrań w poszukiwaniu pojedynczego, trudnego do znalezienia fragmentu, na przykład konkretnej wypowiedzi w wielogodzinnym webinarze.

Trzeci scenariusz to wykrywanie anomalii, gdzie model dynamicznie zmienia częstotliwość próbkowania w zależności od tego, jak szybko zmienia się scena, a czwarty to liczenie obiektów lub powtarzających się czynności w czasie, na przykład w nagraniach z linii produkcyjnej lub monitoringu. Funkcja nawiązuje do wprowadzonej przez Google w styczniu 2026 roku Agentic Vision w Gemini 3 Flash, która pozwalała modelowi aktywnie manipulować pojedynczymi obrazami, kadrować je i adnotować. Nowość rozszerza tę samą filozofię z pojedynczych zdjęć na materiały wideo rozciągnięte w czasie.

Co dalej

Google zapowiada, że agentywne rozumienie wideo trafi z czasem także do aplikacji Gemini dla użytkowników indywidualnych, a w kolejnych miesiącach ma zostać zintegrowane z funkcją Ask YouTube, pozwalającą zadawać pytania o treść filmów na platformie. Na razie funkcja jest dostępna wyłącznie przez interfejs programistyczny, co czyni ją narzędziem przede wszystkim dla deweloperów i firm budujących własne aplikacje na bazie Gemini.

Dla firm przetwarzających duże ilości nagrań, na przykład w branży mediów, e-commerce czy bezpieczeństwa, obniżka kosztów analizy wideo o kilkadziesiąt procent może realnie zmienić kalkulację opłacalności wdrożenia takich systemów. Wcześniej długie materiały wideo należały do najdroższych typów danych do przetwarzania przez modele językowe, właśnie ze względu na sztywne próbkowanie klatek niezależne od treści.