Mistral AI pokazuje Robostral Navigate, model do nawigacji robotów z jednej kamery

Mistral AI ogłosił Robostral Navigate, model o wielkości 8 miliardów parametrów, który uczy roboty poruszania się w budynkach i na zewnątrz przy użyciu wyłącznie jednej zwykłej kamery RGB oraz prostych poleceń w języku naturalnym. To pierwszy krok francuskiej firmy w stronę tak zwanej fizycznej sztucznej inteligencji, czyli modeli sterujących maszynami działającymi w realnym świecie, a nie tylko generujących tekst czy obraz.

Zamiast polegać na czujnikach LiDAR, kamerach głębi czy precyzyjnych mapach otoczenia, Robostral Navigate analizuje pojedynczy obraz z kamery i przewiduje, dokąd robot powinien się dalej ruszyć. Model wskazuje współrzędne docelowego punktu bezpośrednio na obrazie z bieżącego widoku kamery razem z pożądaną orientacją po dotarciu na miejsce. Takie podejście, oparte na wskazywaniu punktu zamiast podawania dokładnych przesunięć metrycznych, sprawia, że system lepiej radzi sobie ze zmianami parametrów kamery czy skali otoczenia.

Jak działa nawigacja przez wskazywanie

Gdy metoda wskazywania punktu nie wystarcza, model przechodzi na tryb przesunięć względem lokalnego układu współrzędnych robota, formułując instrukcje w rodzaju przesunięcia o określoną liczbę metrów do przodu i w bok wraz z obrotem o zadaną liczbę stopni. Mistral podkreśla, że Robostral Navigate powstał całkowicie od podstaw w firmie i nie bazuje na istniejących otwartych modelach wizyjno-językowych, lecz na własnym modelu Mistrala wyspecjalizowanym w zadaniach związanych z lokalizowaniem obiektów, liczeniem i wskazywaniem.

Trening w symulacji i uczenie wzmacniane

Cały proces treningu odbył się w środowisku symulacyjnym, obejmującym niemal 400 tysięcy tras w 6 tysiącach różnych scen, od biur i mieszkań po przestrzenie magazynowe i tereny zewnętrzne. Na etapie douczania Mistral zastosował uczenie wzmacniane online z wykorzystaniem algorytmu CISPO, co dało dodatkowe 3,2 punktu procentowego poprawy skuteczności. Kluczowym elementem efektywności treningu było buforowanie prefiksów, które zredukowało liczbę potrzebnych tokenów aż 22-krotnie i pozwoliło skrócić proces z miesięcy do kilku dni.

Zastosowania przemysłowe

Mistral wskazuje na zastosowania w produkcji, logistyce, dostawach ostatniej mili oraz hotelarstwie, gdzie roboty muszą samodzielnie poruszać się w zmieniających się, nieoznakowanych przestrzeniach bez kosztownej infrastruktury czujnikowej. Firma podpisała już umowy z europejskimi klientami przemysłowymi i aktywnie rekrutuje badaczy oraz inżynierów specjalizujących się w robotyce, co sugeruje, że Robostral Navigate to dopiero początek szerszej strategii w obszarze robotów fizycznych.

W komunikacie firma określiła nawigację jako fundament pod docelowy, zunifikowany model działający jako uniwersalny agent osadzony w fizycznym świecie, zdolny nie tylko poruszać się, ale też manipulować przedmiotami i wykonywać złożone zadania.

Konkurencja w fizycznej AI

Wejście Mistrala w robotykę zbiega się z podobnymi ruchami innych firm, w tym amerykańskiego startupu General Intuition, który niedawno zebrał 320 milionów dolarów na fundamentowy model dla robotyki. Rynek fizycznej sztucznej inteligencji, obejmujący roboty magazynowe, autonomiczne pojazdy dostawcze i systemy przemysłowe, staje się kolejnym polem rywalizacji po wyścigu o modele językowe i generatywne wideo.

Dla europejskich firm przemysłowych, w tym polskich producentów i integratorów automatyki, model taki jak Robostral Navigate może obniżyć koszt wdrożenia robotów mobilnych, eliminując potrzebę drogich czujników LiDAR i szczegółowego mapowania hal produkcyjnych. Mistral nie podało na razie szczegółów licencjonowania modelu ani dokładnej daty udostępnienia go poza własnymi klientami korporacyjnymi.

Źródła: Mistral AI (mistral.ai), Bloomberg (bloomberg.com)