GPT-5.6 odmówił pomocy w debugowaniu Linuksa, wyręczyły go chińskie modele open source

Amerykański badacz bezpieczeństwa Daniel Fox Franke tropił rzadki błąd segmentacji w popularnym narzędziu ripgrep, gdy natrafił na mur nie ze strony samego programu, tylko własnego asystenta AI. GPT-5.6 Sol od OpenAI był gotów pomóc, ale wbudowany klasyfikator bezpieczeństwa systematycznie blokował jego odpowiedzi dotyczące alokacji pamięci i analizy sterty. Franke dokończył pracę dzięki dwóm chińskim modelom open-weight, które nie miały żadnych zastrzeżeń.

Klasyfikator silniejszy niż model

Franke opisał swoje doświadczenia w mediach społecznościowych, tłumacząc mechanikę blokady. Sam model GPT-5.6 Sol nie miał problemu z tematem, bo jak zaznaczył badacz, klasyfikator bezpieczeństwa to osobny system, który cenzuruje wyjście modelu generatywnego już po tym, jak ten je wygeneruje. To właśnie ten dodatkowy filtr, a nie sam model, uniemożliwiał mu uzyskanie odpowiedzi.

OpenAI's cybersecurity classifier is a huge pain when you're trying to track down a segfault - Daniel Fox Franke, badacz bezpieczeństwa

The classifier won't even let it answer what entrypoints from rg into musl lead to allocations on the mallocng heap - Daniel Fox Franke, badacz bezpieczeństwa

Pytania o punkty wejścia z ripgrep do biblioteki musl prowadzące do alokacji na stercie mallocng brzmią jak rutynowe pytania inżyniera niskopoziomowego. Klasyfikator OpenAI, działający na wzorcach i heurystykach ryzyka, potraktował je jednak jako sygnatury pasujące do rekonesansu przed atakiem i zablokował odpowiedź, mimo że Franke prowadził zwykłe, legalne dochodzenie w sprawie awarii oprogramowania.

Chińskie modele bez filtrów

Franke sięgnął po dwa chińskie modele open-weight, które można pobrać i uruchomić lokalnie bez pośrednictwa dostawcy pilnującego zasad bezpieczeństwa. Kimi K3 od Moonshot AI jako pierwszy wskazał, że przyczyna leży na poziomie jądra systemu, a nie w samym ripgrep. GLM 5.2 od Z.ai dostarczył bardziej rygorystyczną analizę techniczną, choć oba modele wymagały jeszcze ręcznej weryfikacji wyników przez samego badacza.

Ostateczna diagnoza okazała się subtelna. Franke zlokalizował problem w interakcji między szybką ścieżką obsługi błędów stron pamięci anonimowej, zabezpieczoną blokadą per-VMA, a równoległym wywołaniem munmap wysyłającym rozkaz unieważnienia bufora translacji adresów TLB. Zapis wątku do świeżo zaalokowanej strony stawał się niewidoczny dla odczytu tego samego wątku około dziesięć instrukcji później, co prowadziło do awarii integralności pamięci. Winowajcą była przebudowa mechanizmu zwalniania tablic stron wprowadzona w Linuksie w wersji 7.0.

Nie pierwszy taki przypadek

Historia Frankego wpisuje się w powtarzający się wzorzec. Wcześniej podobny problem spotkał Hugging Face, który podczas analizy włamania przeprowadzonego przez autonomicznego agenta OpenAI również nie mógł skorzystać z zablokowanych przez klasyfikatory modeli Anthropic i OpenAI i musiał przełączyć się na własną instancję GLM 5.2, by zrozumieć, co się dzieje w jego infrastrukturze. W obu przypadkach systemy zabezpieczeń, projektowane by nie dawać przewagi napastnikom, nie potrafiły odróżnić obrońcy analizującego incydent od potencjalnego atakującego.

Twórcy amerykańskich modeli tłumaczą tak surowe filtry obawami administracji USA, że luźniejsze zasady w modelach cyberbezpieczeństwa dałyby przeciwnikom Stanów Zjednoczonych potężne narzędzia ofensywne. W praktyce jednak klasyfikatory oparte na dopasowywaniu wzorców nie rozróżniają kontekstu pytania, więc blokują też legalne pytania debugerskie, badaczy podatności czy zespoły reagowania na incydenty.

Paradoks bezpieczeństwa

Efekt jest odwrotny od zamierzonego. Modele objęte ścisłym nadzorem i ograniczone do zweryfikowanych organizacji stają się bezużyteczne właśnie w rękach obrońców, podczas gdy modele open-weight na licencji MIT, dostępne dla każdego bez żadnej kontroli dostawcy, okazują się bardziej praktyczne przy realnej pracy nad bezpieczeństwem. To odwraca logikę, która miała stać za restrykcjami wobec modeli zamkniętych.

Dla programistów i zespołów bezpieczeństwa korzystających z asystentów AI przy pracy nad kodem niskopoziomowym oznacza to konkretną, praktyczną lekcję: warto mieć pod ręką alternatywę na wypadek, gdy klasyfikator zablokuje legalne pytanie. Franke opublikował pełną dokumentację swojego śledztwa publicznie na GitHubie, co samo w sobie stanowi ciekawy materiał dla każdego, kto chce zrozumieć, jak wygląda praca nad subtelnymi błędami na styku jądra systemu i przestrzeni użytkownika.

Sprawa trafiła też pod uwagę szerszej dyskusji o tym, czy Stany Zjednoczone nie strzelają sobie w stopę, ograniczając dostęp do najsilniejszych modeli cyberbezpieczeństwa, podczas gdy chińskie firmy udostępniają porównywalne narzędzia bez żadnych barier. Krytycy tej polityki wskazują, że efektem netto jest przesuwanie realnych, legalnych zastosowań w stronę modeli, nad którymi Stany Zjednoczone nie mają żadnej kontroli.