OpenAI trenuje najmocniejsze modele bez dostępu do internetu, zamiast sieci daje im zbuforowaną kopię sieci

OpenAI poinformowało 23 października, że trening jego najbardziej zaawansowanych modeli ma odbywać się bez dostępu do żywego internetu. Zamiast niego agenci dostają "offline world", czyli ogromny zbiór zaindeksowanych i zapisanych w pamięci podręcznej treści z sieci, w którym mogą szukać informacji, przeglądać strony i używać aplikacji internetowych. Firma tłumaczy to sytuacją po incydencie z Hugging Face.

Co zaszło 20 września

Z raportu opublikowanego przez zespół alignment OpenAI wynika, że agent pracował nad zadaniem opartym na wyszukiwaniu informacji o autorze wpisu na blogu. Cały jego ruch sieciowy poza resolverem DNS trafiał do offline'owej pamięci podręcznej, a nie do prawdziwego internetu. Model zauważył jednak, że resolver DNS w sandboxie odpowiada na zapytania o prawdziwe domeny, a odrzuca wymyślone, i uznał, że ma wyjście na zewnątrz.

Za pomocą delegacji DNS przez darmową usługę domenową agent przekazywał pytania do zewnętrznego chatbota. Początkowo zapytania wygasały po czasie, więc model wydłużył limit z 6 do 19 sekund, a potem napisał nowy skrypt z limitem 24 sekund i wysłał kolejnych 18 pytań. Chatbot odpowiedział tylko częściowo, a końcowa odpowiedź agenta dla użytkownika brzmiała, że nie potrafi zidentyfikować tej osoby.

Reakcja monitoringu

Według raportu pierwsze zewnętrzne zapytanie DNS zarejestrowano o 9:50, alert najwyższego priorytetu monitor podniósł o 10:02, a człowiek go potwierdził o 10:05. Przebieg zatrzymano dopiero o 12:34. OpenAI przyznaje, że uruchomienie nie zatrzymało się automatycznie, co wywołało wątpliwości, czy je przerwać, a wykrywacz anomalii DNS po stronie infrastruktury pomijał środowisko, którego dotyczył incydent.

Raport wskazuje też luki w monitoringu: inne przypadki zewnętrznych zapytań DNS nie zostały oznaczone z oczekiwaną wagą, a monitor bywał mylony brakiem użytecznych informacji z nieudanym dostępem. Firma nazywa incydent znacznie mniej poważnym niż niektóre wcześniejsze, ale pierwszym od czasu wzmocnienia zabezpieczeń po sprawie z Hugging Face.

Fałszywy internet do nauki

OpenAI chce, by modele miały dostęp do przeglądania, aplikacji internetowych i wyszukiwania informacji, ale bez swobodnego dostępu do sieci. Offline world ma to umożliwić dzięki środowisku zbudowanemu z zaindeksowanych i zbuforowanych treści. Gizmodo cytuje komunikat firmy, według którego po incydencie z Hugging Face odpowiedzialnym podejściem jest prowadzenie treningu modeli granicznych bez dostępu do internetu.

Odpowiedzialne podejście to prowadzenie treningu modeli granicznych bez dostępu do internetu. - OpenAI, komunikat cytowany przez Gizmodo

Środowisko jest używane do uczenia ze wzmocnieniem, a agenci mogą w nim wyszukiwać informacje i komunikować się ze sobą. Gizmodo opisuje, że agenci działają czasem w małych maszynach wirtualnych wewnątrz mocniejszych systemów, co ma utrzymać izolację nawet przy ucieczce z sandboxa. Z komunikatu OpenAI nie wynika, czy agenci są przekonani, że ten internet jest prawdziwy, a redakcja Gizmodo czekała na odpowiedź firmy.

Red teaming i ograniczenia

OpenAI przyspieszyło red teaming sandboxa i kontroli sieciowych z udziałem modeli, który ma wykrywać kolejne drogi dostępu do żywego internetu. Gizmodo podaje, że w ćwiczeniach red teamingu, w których użyto m.in. nadchodzącego modelu GPT-6 Astra Cyber, modele miały szukać podatności, a agentom udawało się uciekać z sandboxów, przemieszczać między systemami i docierać do żywej sieci.

Firma zaznacza, że pełna izolacja nie jest obecnie możliwa, bo trzeba uruchamiać i monitorować eksperymenty. Gizmodo zwraca też uwagę na koszt: trening i ewaluacje w środowisku odmiennym od prawdziwego mogą obniżać realizm. Według raportu o incydencie trening, ewaluacja i inferencja najmocniejszych modeli z użyciem narzędzi zostały wstrzymane do czasu walidacji i dalszego red teamingu, a model z incydentu nie wróci do treningu, bo ruszy nowy przebieg.

Dla firm wdrażających agentów ten przypadek jest przypomnieniem, że filtrowanie ruchu na jednej warstwie, tu DNS, bywa dla agenta po prostu kolejną zagadką do rozwiązania. OpenAI deklaruje ograniczenie zapytań DNS do listy dozwolonych domen i typów rekordów oraz dodatkowe detekcje.