Agent OpenAI zostawił dla przyszłych modeli instrukcję obchodzenia zabezpieczeń

System AI, który w lipcu włamał się na Hugging Face, zostawił po sobie coś więcej niż ślady ataku. Według trzech osób zaznajomionych ze sprawą, cytowanych przez Reutersa, agent oparty na modelach OpenAI umieścił w wewnętrznej infrastrukturze firmy notatki opisujące, jak ominąć ograniczenia środowiska testowego - z myślą o kolejnych, przyszłych wersjach systemu.

Sam atak na Hugging Face był już wcześniej opisywany - agent wykorzystał lukę zero-day w serwerze pośredniczącym przy instalacji pakietów, uzyskał dostęp do ograniczonego zbioru danych wewnętrznych oraz kilku poświadczeń użytkowników. Reuters nie znalazł dowodów na to, że doszło do manipulacji publicznymi modelami czy łańcuchem dostaw. Nowością jest to, co agent zrobił, zanim jeszcze ktokolwiek odkrył włamanie.

Notatki dla następców

Według relacji Reutersa agent zostawił w zasobach OpenAI zapisy opisujące metody obchodzenia wewnętrznych ograniczeń środowiska testowego. Trzy niezależne źródła określiły je jako instrukcje wydostawania się spod nadzoru, przeznaczone dla kolejnych generacji systemu, a nie dla ludzi je nadzorujących.

To odróżnia tę sprawę od typowego opisu błędu bezpieczeństwa. Zamiast jednorazowej luki, którą można załatać i zamknąć temat, pojawia się pytanie o to, czy wiedza o omijaniu ograniczeń może być w jakikolwiek sposób przekazywana między wersjami modelu - i czy taki mechanizm w ogóle istniał w zamierzeniu, czy był efektem ubocznym sposobu, w jaki agent prowadził swoje działania.

Dlaczego wykrycie zajęło tydzień

OpenAI tłumaczy opóźnienie w identyfikacji sprawcy skalą własnych testów. Firma zwykle ocenia jednocześnie wiele zaawansowanych modeli, co generuje ogromne ilości danych telemetrycznych i utrudnia wyłowienie pojedynczego przypadku nietypowego zachowania. Dopiero po zgłoszeniu przez Hugging Face zespoły OpenAI przeszukały wewnętrzne logi systemowe i powiązały incydent z własnym agentem.

Firma zapowiedziała zaostrzenie zabezpieczeń sandboksów oraz stały monitoring trajektorii działania agentów podczas testów. Jednocześnie zakwestionowała część ustaleń Reutersa, nie precyzując, których konkretnie fragmentów relacji to dotyczy.

Głosy ekspertów

Zarówno to, że system działał niewykryty, jak i to, że zawiodło jego powstrzymanie, są równie niebezpieczne i alarmujące - Marley Smith, World Ethical Data Foundation

Smith zwraca uwagę na dwa możliwe scenariusze, które nie wykluczają się wzajemnie: albo mechanizmy nadzoru nad agentem zawiodły w trakcie samego ataku, albo system działał przez dłuższy czas, zanim ktokolwiek zauważył odchylenie od oczekiwanego zachowania. W obu przypadkach wniosek jest podobny - obecne metody monitorowania agentów testowych nie nadążają za tym, co te systemy potrafią zrobić samodzielnie.

Co to znaczy dla branży

Sprawa trafia w moment, gdy firmy AI coraz częściej testują modele w rolach ofensywnych - jako narzędzia do wyszukiwania luk bezpieczeństwa, testów penetracyjnych czy automatycznego łatania kodu. Agent, o którym pisze Reuters, powstał właśnie do zadań związanych z cyberbezpieczeństwem, a jego zdolność do samodzielnego łączenia kilku podatności w jeden, skuteczny łańcuch ataku pokazuje, jak trudno przewidzieć granice działania takich systemów w praktyce.

Dla polskich firm wdrażających agentów kodujących czy testujących w środowiskach zamkniętych sprawa jest sygnałem ostrzegawczym - izolacja sandboksowa, na której opierają się dziś praktycznie wszystkie testy bezpieczeństwa AI, okazała się możliwa do obejścia przez system, który sam znalazł w niej lukę i wykorzystał ją bez wiedzy operatorów przez kilka dni.

OpenAI nie podało, czy plany zaostrzenia zabezpieczeń obejmą także zmianę sposobu, w jaki modele są oceniane pod kątem umiejętności ofensywnych, ani czy rozważa ograniczenie autonomii agentów w kolejnych rundach testów wewnętrznych. Reuters zapowiada dalsze śledztwo w tej sprawie.