Google DeepMind łączy sześć zadań widzenia komputerowego w jednym modelu wideo

Naukowcy z Google DeepMind razem z badaczami z uniwersytetów w Toronto, Oksfordzie, Londynie (UCL), MIT i Lund opublikowali pracę pokazującą, że modele generujące wideo z tekstu mogą stać się uniwersalnym fundamentem dla widzenia komputerowego. Model o nazwie GenCeption dorównuje lub przewyższa wyspecjalizowane systemy w sześciu różnych zadaniach wizyjnych, korzystając przy tym z ułamka danych treningowych, jakich potrzebują konkurenci.

Jeden model zamiast sześciu

Dotychczas widzenie komputerowe rozwijało się jako zbiór osobnych specjalizacji. Osobny model liczył głębię sceny, osobny wykrywał pozycję kamery, kolejny segmentował obiekty na podstawie opisu słownego. Każdy z nich wymagał własnej architektury, własnej funkcji straty i osobnego zestawu danych treningowych dopasowanego do konkretnego zadania.

GenCeption odwraca ten schemat. Autorzy wykorzystują pretrenowany model generowania wideo z tekstu jako bazę, a następnie przekształcają go w jednokrokowy model działający w trybie feed-forward, trenowany jednocześnie na wielu zadaniach na danych syntetycznych. Ten sam szkielet sieci, ta sama głowica wyjściowa i ta sama funkcja straty obsługują wszystkie sześć zadań opisanych w pracy.

Efektywność danych jako główny wynik

Najbardziej wymierny rezultat badania dotyczy nie samej jakości predykcji, ale ilości danych potrzebnych do jej osiągnięcia. GenCeption dociera do poziomu porównywalnego z modelami D4RT i VGGT-Omega przy 7 do 500 razy mniejszej liczbie klatek treningowych niż potrzebują te wyspecjalizowane systemy.

Autorzy tłumaczą to tym, że model generowania wideo, zanim jeszcze trafi do trenowania na zadaniach wizyjnych, uczy się podczas pretreningu praw fizyki, ciągłości ruchu i relacji przestrzenno-czasowych ze zwykłych nagrań wideo. Ta wiedza, zaszyta w wagach modelu generatywnego, okazuje się przenosić bezpośrednio na zadania percepcyjne, więc dalsze dostrajanie wymaga znacznie mniej przykładów niż budowa modelu od zera.

Large-scale text-to-video generation serves as a strong pre-training paradigm for computer vision, providing necessary spatiotemporal priors, vision-language alignment, and scalability - z pracy "Video Generation Models are General-Purpose Vision Learners"

Nieoczekiwane zachowania modelu

Praca opisuje też zjawiska, których autorzy nie projektowali wprost. Model wytrenowany na nagraniach z pojedynczym obiektem radzi sobie ze scenami zawierającymi wiele instancji naraz. Model uczony wyłącznie na sylwetkach ludzi generalizuje na zwierzęta i roboty, mimo że nigdy nie widział ich w danych treningowych zadania percepcyjnego.

Autorzy interpretują to jako dowód, że wewnątrz generatywnego szkieletu wideo powstaje coś w rodzaju modelu świata, reprezentacji, która przechwytuje uniwersalne prawidłowości fizyczne i wizualne, niezależnie od konkretnej kategorii obiektów widzianych podczas treningu percepcyjnego.

Analogia do dużych modeli językowych

Zespół wprost porównuje obecny etap widzenia komputerowego do sytuacji sprzed ery dużych modeli językowych w przetwarzaniu tekstu, gdy każde zadanie NLP miało swój dedykowany system. Autorzy piszą, że ich podejście ma pchnąć widzenie komputerowe z ery modeli specjalistycznych w stronę ogólnej inteligencji wizyjnej, tak jak stało się to wcześniej z językiem naturalnym.

Praktyczne zastosowania, które autorzy wymieniają, obejmują robotykę, gdzie rozumienie sceny w czterech wymiarach ułatwia planowanie ruchu, technologie rozszerzonej i wirtualnej rzeczywistości, a także rekonstrukcję scen 3D i 4D z materiału nagranego z perspektywy pierwszej osoby, na przykład z kamer noszonych na głowie.

Co to oznacza dla branży

Dla firm budujących produkty oparte na widzeniu komputerowym, od robotyki magazynowej po analizę wideo w przemyśle, kierunek pokazany przez GenCeption sugeruje, że przyszłe systemy percepcyjne mogą powstawać przez dostrajanie gotowych modeli generatywnych, a nie budowanie osobnych sieci pod każde zadanie od podstaw. To potencjalnie obniża koszt wejścia dla mniejszych zespołów, które nie dysponują zasobami porównywalnymi z Google DeepMind.

Praca trafiła na ECCV 2026, jedną z trzech najważniejszych konferencji w dziedzinie widzenia komputerowego obok CVPR i ICCV, co oznacza, że przeszła recenzję naukową przed publikacją. Kod i dodatkowe materiały autorzy udostępnili na stronie projektu.