Google DeepMind pokazuje Genie 4: model świata z dźwiękiem i sterowaniem na żywo

Google DeepMind ogłosiło 27 października Genie 4, nową generację modelu świata do symulacji w czasie rzeczywistym. Model generuje dźwięk razem z obrazem, a użytkownik może w trakcie symulacji zmieniać scenę poleceniami tekstowymi.

Google przedstawia Genie 4 jako model, który wnosi w swoich słowach „bezprecedensowy realizm i natywny dźwięk”. Na razie to zapowiedź wsparta demonstracjami na blogu DeepMind, a nie produkt dostępny dla każdego.

Co potrafi Genie 4

Model działa w oparciu o rodzinę Gemini. Według DeepMind Gemini Omni osadza symulacje w realnym wyglądzie i zachowaniu świata, a pozostałe modele Gemini odpowiadają za rozumowanie, które utrzymuje spójność i ciągłość symulacji.

Użytkownik może rozpocząć wydarzenie i sterować nim na bieżąco w języku naturalnym: przesunąć kamerę, zmienić pogodę albo dodać postać. Każdy świat ma własną ścieżkę dźwiękową, obejmującą ambient, muzykę i dialogi reagujące na działania użytkownika.

TechCrunch dodaje, że poprawiono fizykę i wiarygodność postaci, a scena zachowuje spójność do dwóch minut, czyli dwa razy dłużej niż w Genie 3. Według serwisu Gemini pełni rolę reżysera: planuje kroki i sprawdza klatki, a Genie renderuje obraz.

Roboty i agenci w symulacji

DeepMind wskazuje, że symulacje mają służyć do bezpiecznego trenowania robotów i agentów oraz do narzędzi kreatywnych w filmie, dziennikarstwie, grach i produkcji. Firma wprost ujmuje symulację jako ważny krok w stronę AGI.

TechCrunch opisuje eksperyment powiązany z Gemini Robotics: model Gemini 4 Argon dzielił zadanie na kroki, a Genie 4 symulował je na żywo. Według serwisu eksperyment pokazuje możliwy sposób testowania scenariuszy dla robotów w symulacji, zanim zostaną wykonane w rzeczywistości.

W przyszłości będziemy coraz częściej widzieć hybrydowe modele świata, w których Gemini pisze kod i tekst, a Genie przetwarza to w czasie rzeczywistym i symuluje rzeczywistość na różnych poziomach abstrakcji - Tejas Kulkarni, dyrektor ds. badań w Google (cytat za TechCrunch)

Ograniczenia

Zespół przyznaje, że szczegóły i obiekty mogą się zmieniać w miarę trwania symulacji. Nie rozwiązano też problemu dokładności dźwięku ani czytelności tekstu wewnątrz świata, jak podaje TechCrunch.

Diego Rivas z DeepMind podkreślał, że to wczesny etap, a końcowe doświadczenie produktowe nie jest jeszcze jasne. Według Rivasa możliwość zamiany prototypów w gotowe zasoby kreatywne przez Gemini Omni jest jeszcze odległa.

Konkurencja i dostępność

TechCrunch przypomina, że Genie 3 ukazało się jako podgląd badawczy nieco ponad rok temu, a Runway kilka miesięcy temu wypuściło GWM Worlds 2 z grywalnymi światami i dźwiękiem. Google nie podało w ogłoszeniu cen, benchmarków ani dokładnych dat udostępnienia.

Dla polskich twórców gier i zespołów robotycznych kluczowe będzie, czy dostęp przez Gemini API i AI Studio faktycznie nastąpi. Na razie to zapowiedź dla zamkniętej grupy.