Agenci AI z MIT budują wirtualne place treningowe dla robotów

Zespół z MIT CSAIL pokazał system o nazwie SceneSmith, w którym trójka agentów AI wspólnie projektuje wirtualne pomieszczenia służące do trenowania robotów. Zamiast ręcznie budować cyfrowe otoczenia, badacze zlecili to zadanie modelom językowo-wizyjnym, co pozwoliło wygenerować ponad tysiąc scen w ułamku czasu potrzebnego człowiekowi.

Pomysł opiera się na prostym założeniu: roboty uczą się skuteczniej i taniej w symulacji niż w prawdziwym świecie, ale tworzenie wiarygodnych wirtualnych scen do tej pory wymagało żmudnej, ręcznej pracy projektantów. SceneSmith ma to zmienić, automatyzując cały proces od układu pomieszczenia po drobne detale.

Jak działają trzy agenty

System dzieli pracę między trzy wyspecjalizowane agenty oparte na modelu GPT-5.2. Agent określony jako projektant generuje kolejne elementy sceny, agent krytyk weryfikuje ich realizm i spójność, a agent orkiestrator koordynuje całą współpracę i pilnuje kolejności kroków.

Proces przebiega etapami, naśladując sposób pracy człowieka urządzającego wnętrze. Najpierw powstaje układ podłogi, potem dodawane są meble, następnie elementy na ścianach i suficie, a na końcu drobne przedmioty, którymi robot ma manipulować, jak szafki czy drzwiczki.

One natural idea is to use simulation as a training ground - Russ Tedrake, MIT CSAIL

Realistyczne sceny na skalę

Kluczowym problemem wcześniejszych generatorów scen była ich uboga zawartość. Wygenerowane pomieszczenia wyglądały sztucznie i zawierały zbyt mało obiektów, przez co roboty trenowane w takich środowiskach słabo radziły sobie w prawdziwych, zagraconych pomieszczeniach. SceneSmith generuje sceny z nawet sześciokrotnie większą liczbą obiektów niż poprzednie podejścia.

W testach z udziałem ponad 200 użytkowników wygenerowane przez system sceny zostały ocenione jako bardziej realistyczne niż te z konkurencyjnych metod w ponad 90 procentach porównań. Równie istotne jest to, że automatyczna ocena jakości scen dokonywana przez samego agenta krytyka pokrywała się z ocenami ludzi w 99 procentach przypadków, co sugeruje, że system może samodzielnie kontrolować jakość swojej pracy bez stałego nadzoru człowieka.

We've found that the system can construct 3D scenes the way a human designer would - Nicholas Pfaff, MIT CSAIL

Od odkładania kubka po sortowanie owoców

Wygenerowane przez SceneSmith sceny posłużyły do trenowania robotów w prostych, ale reprezentatywnych zadaniach domowych: odstawianiu kubka do zlewu, układaniu owoców na talerzu czy przenoszeniu puszki z półki na stół. To właśnie tego typu czynności są największym wyzwaniem dla robotyki domowej, bo wymagają radzenia sobie z nieprzewidywalnym, zagraconym otoczeniem, a nie sterylnym laboratorium.

Trenowanie w symulacji pozwala inżynierom testować tysiące wariantów zadania bez ryzyka uszkodzenia sprzętu i bez konieczności fizycznej obecności robota. Dzięki temu można szybciej iterować nad algorytmami sterowania, zanim trafią one do testów na prawdziwej maszynie.

Znaczenie dla branży robotyki

Brak wystarczająco różnorodnych i realistycznych danych treningowych od dawna jest jedną z głównych barier w rozwoju robotów zdolnych do pracy w domach i magazynach. Podejście MIT wpisuje się w szerszy trend wykorzystywania agentów AI nie tylko do generowania tekstu czy kodu, ale też do budowania infrastruktury potrzebnej innym systemom uczącym się, w tym polskim projektom robotycznym, które również testują autonomiczne systemy w warunkach magazynowych.

Dla firm rozwijających robotykę oznacza to potencjalnie tańszy i szybszy sposób gromadzenia danych treningowych, bez konieczności budowania fizycznych makiet pomieszczeń czy ręcznego modelowania każdej sceny osobno. Może to obniżyć barierę wejścia dla mniejszych zespołów, które nie dysponują dużym budżetem na infrastrukturę testową.

Źródła: MIT News (news.mit.edu)