OpenAI zbudowało GPT-Red, sztuczną inteligencję do włamywania się w swoje własne modele

OpenAI ujawniło szczegóły GPT-Red, wewnętrznego systemu sztucznej inteligencji zbudowanego wyłącznie po to, by atakować własne modele firmy. Narzędzie w testach porównawczych osiągnęło 84 procent skuteczności w scenariuszach prompt injection wobec 13 procent u zespołów ludzkich red teamerów testujących te same przypadki. Efekty jego pracy trafiły bezpośrednio do najnowszego modelu GPT-5.6 Sol.

Jak działa GPT-Red

System działa podobnie jak ludzki badacz bezpieczeństwa: wysyła prompt do modelu docelowego, obserwuje reakcję i iteracyjnie modyfikuje strategię, dążąc do konkretnego złośliwego celu, na przykład wyprowadzenia poufnych danych na zewnętrzny serwer. OpenAI opisuje to jako pętlę adversarial self-play, w której model atakujący uczy się generować coraz silniejsze ataki, a modele broniące się jednocześnie uczą się im przeciwdziałać.

GPT-Red trenowany jest metodą uczenia ze wzmocnieniem, w izolowanym środowisku odseparowanym od produkcyjnych systemów firmy. OpenAI podkreśla, że narzędzie pozostaje ściśle wewnętrzne właśnie dlatego, że jego zdolności ofensywne mogłyby zostać wykorzystane przez atakujących, gdyby trafiły poza organizację.

GPT-Red jest silnym red teamerem, a nasze poprzednie modele są wysoce podatne na jego ataki prompt injection - OpenAI

Nowy typ ataku, którego nie widzieli ludzie

Podczas treningu system samodzielnie odkrył wcześniej nieznany wariant ataku nazwany 'fake chain-of-thought', polegający na wstrzykiwaniu fałszywych wpisów do wewnętrznego procesu rozumowania modelu. Badacz OpenAI Dylan Hunn opisał skuteczność narzędzia w znajdowaniu takich luk wprost.

Bardzo, bardzo dobrze radzi sobie ze znajdowaniem dokładnie tego, co zadziała, dokładnie tego, co jest najskuteczniejsze - Dylan Hunn, OpenAI

Efekt w GPT-5.6 Sol

Obrony wypracowane przez GPT-Red trafiły bezpośrednio do treningu GPT-5.6 Sol, najnowszego flagowego modelu OpenAI zaprezentowanego w rodzinie razem z Terrą i Luną. Firma podaje, że model w testach z indirect prompt injection osiąga ponad 97 procent dokładności, a wskaźnik porażki przy bezpośrednich atakach spadł do 0,05 procent. To sprawia, że GPT-5.6 Sol jest według OpenAI najbardziej odpornym na tego typu ataki modelem, jaki firma dotąd wypuściła.

Skala poprawy wynika częściowo z tego, że GPT-Red testuje model w tysiącach wariantów tego samego scenariusza znacznie szybciej niż mogliby to zrobić ludzie. Zamiast pojedynczych prób, system generuje setki modyfikacji jednego ataku, sprawdzając, która wersja przełamuje zabezpieczenia, a następnie te dane trafiają z powrotem do treningu modelu broniącego się.

Dlaczego to ważne dla systemów agentowych

Test z automatem Vendy pokazuje, dlaczego OpenAI traktuje ten problem priorytetowo. W miarę jak modele językowe zyskują dostęp do narzędzi, kont bankowych czy systemów zamówień, prompt injection przestaje być teoretycznym zagrożeniem dla czatu, a staje się realną drogą do manipulowania pieniędzmi i decyzjami. Agent zbudowany przez Andon Labs miał obsługiwać sprzedaż w prawdziwym automacie, a GPT-Red bez większego trudu przejął nad nim kontrolę.

Pracownik OpenAI Nikhil Kandpal zwraca uwagę, że wraz z rosnącą autonomią systemów AI rośnie też skala potencjalnych szkód, jakie może wyrządzić udany atak.

Powierzchnia ryzyka rośnie, a wraz z nią rośnie też promień rażenia - Nikhil Kandpal, OpenAI

Co to znaczy dla firm korzystających z AI

Dla firm wdrażających agentów AI z dostępem do systemów płatności, poczty czy baz danych, wnioski z GPT-Red są konkretne: prompt injection pozostaje głównym wektorem ataku na tego typu narzędzia, a odporność modelu bazowego nie zwalnia z konieczności ograniczania uprawnień agenta i monitorowania jego działań. OpenAI zastrzega, że GPT-Red uzupełnia testy ludzkich zespołów i firm trzecich, a ich nie zastępuje.

Ujawnienie GPT-Red zbiega się w czasie z szerszą debatą o bezpieczeństwie modeli agentowych, w tym z niedawnymi doniesieniami o lukach w innych systemach AI wykorzystywanych do przejmowania kontroli nad kontami czy repozytoriami kodu. OpenAI, publikując szczegóły swojego narzędzia, stara się pokazać, że traktuje takie ataki jako realne zagrożenie już na etapie projektowania modeli, a nie dopiero po incydentach.