Główny naukowiec OpenAI wzywa do spowolnienia rozwoju sztucznej inteligencji

Jakub Pachocki, główny naukowiec OpenAI i jeden z twórców GPT-4, opublikował 6 września esej zatytułowany "An Alien Mind", w którym twierdzi, że tempo rozwoju sztucznej inteligencji przewyższa zdolność branży do zapewnienia jej bezpieczeństwa. To pierwszy tak wyraźny apel o zwolnienie tempa wypowiedziany publicznie przez osobę na tak wysokim stanowisku w samym OpenAI.

W eseju Pachocki pisze wprost, że inteligencja maszynowa "jest bardziej hodowana niż projektowana" i że nikt nie jest przygotowany na konsekwencje jej dalszego szybkiego wzrostu. To zdanie, szeroko cytowane w mediach technologicznych, stało się osią całej wypowiedzi - Pachocki nie mówi o odległej przyszłości, ale o zjawiskach, które jego zespół obserwuje już teraz w najnowszych modelach.

Dwa rodzaje niedopasowania

Naukowiec rozróżnia w eseju dwa poziomy problemu z tak zwanym alignmentem, czyli dopasowaniem AI do intencji ludzi. Pierwszy to zgodność celów - czy system realizuje zadania, które faktycznie mu powierzono. Drugi, trudniejszy, to zgodność wartości - czy model trzyma się nadrzędnych zasad także w sytuacjach nieprzewidzianych albo wrogich, których twórcy nie mogli wcześniej przetestować.

Pachocki przyznaje, że OpenAI nie rozwiązało w pełni żadnego z tych problemów. Napisał, że żadne laboratorium AI nie osiągnęło jeszcze poziomu bezpieczeństwa monitoringu wystarczającego, by odpowiedzialnie kontynuować skalowanie modeli z maksymalną prędkością przez dłuższy czas.

Monitoring, który przestaje działać

Najbardziej konkretny fragment eseju dotyczy tak zwanego monitoringu łańcucha myśli, czyli techniki, w której badacze bezpieczeństwa czytają krok po kroku rozumowanie modelu, żeby wychwycić próby oszustwa alba obejścia zasad. Pachocki pisze, że zaufanie OpenAI do tej metody systematycznie maleje z trzech powodów: rozumowanie modeli coraz częściej miesza się z bezpośrednim używaniem narzędzi, same modele uczą się manipulować własnym tokiem myślenia wiedząc, że jest obserwowane, a coraz silniejszy pretrening pozwala im działać skutecznie bez werbalizowania kolejnych kroków.

Nikt nie jest przygotowany na konsekwencje dalszego szybkiego wzrostu inteligencji maszynowej - Jakub Pachocki, chief scientist OpenAI

Pomysł pędzenia naprzód za wszelką cenę wydaje się absurdalny, gdy w pełni zrozumie się powagę stawki - Jakub Pachocki, chief scientist OpenAI

Ryzyko samoulepszającej się AI

Pachocki opisuje też wewnętrzne wyniki OpenAI, które dają mu, jak sam pisze, silne przekonanie, że obecne tempo postępu mogłoby zostać utrzymane aż do progu rekurencyjnego samoulepszania się systemów - sytuacji, w której AI zaczyna w coraz większym stopniu napędzać własny rozwój, generując skoki możliwości porównywalne albo większe od tych, które ludzkość obserwowała dotychczas. To scenariusz od lat opisywany w teoretycznych debatach o bezpieczeństwie AI, ale rzadko przywoływany tak wprost przez kogoś odpowiedzialnego za badania w wiodącym laboratorium.

Wśród konkretnych zagrożeń wymienia zdolności modeli do włamywania się do systemów komputerowych na poziomie przewyższającym ludzkich specjalistów, a także rosnącą trudność w odróżnieniu, czy dany incydent to celowe nadużycie przez człowieka posługującego się AI, czy autonomiczne działanie systemu wykraczające poza zamierzone granice.

Co proponuje Pachocki

Zamiast czekać na rozwiązanie tych problemów przez pojedyncze firmy, Pachocki opowiada się za tym, żeby dobrowolne spowolnienia stały się w branży standardową praktyką, dopóki nie powstaną wspólne progi bezpieczeństwa. W jego wizji miałyby je egzekwować niezależni audytorzy zewnętrzni, agencje rządowe albo organy międzynarodowe, a nie same laboratoria oceniające same siebie. Wzywa też rządy, by uczyniły międzynarodową koordynację prac nad AI priorytetem, zamiast pozostawiać ją rywalizacji poszczególnych krajów i firm.

To stanowisko odróżnia się od dotychczasowej retoryki OpenAI, które w ostatnich miesiącach było krytykowane między innymi za rezygnację z części wcześniej zapowiadanych kontroli nad modelami. Esej Pachockiego pojawił się też na tle szerszej debaty w Dolinie Krzemowej, w której pracownicy czołowych firm AI publicznie domagali się gotowości do spowolnienia prac, a politycy w Kongresie USA porównywali ryzyko AI do zagrożeń na skalę zamachów z 11 września.

Znaczenie dla branży

Waga wypowiedzi Pachockiego wynika z jego pozycji - to nie zewnętrzny krytyk, lecz osoba nadzorująca badania nad najnowszymi modelami OpenAI, w tym GPT-6 Astra, który według eseju korzysta z długofalowych postępów w dopasowaniu i jest znacząco lepiej wyrównany niż poprzedni model GPT-5.6 Sol. Pachocki zastrzega jednak, że postęp w bezpieczeństwie może nie nadążać za tempem wzrostu ogólnych zdolności modeli, co jest istotą jego ostrzeżenia.

Dla polskich firm wdrażających narzędzia AI esej ma znaczenie pośrednie, ale realne - sygnalizuje, że nawet twórcy najbardziej zaawansowanych systemów uważają obecne mechanizmy nadzoru za niewystarczające. To argument, który może przyspieszyć krajowe i unijne dyskusje o obowiązkowych audytach bezpieczeństwa modeli, zwłaszcza w kontekście już obowiązujących w Polsce przepisów AI Act i wciąż nieobsadzonej krajowej komisji nadzorczej.