OpenAI zwolniło trzech badaczy bezpieczeństwa, ci odpowiadają listem otwartym

OpenAI zwolniło trzech badaczy z zespołów bezpieczeństwa: Tomka Korbaka, Jasmine Wang i Mikitę Balesniego. Firma mówi o naruszeniu zasad postępowania z wrażliwymi informacjami, a sami zainteresowani w liście otwartym z 8 października twierdzą, że zarzuty się nie kleją i że zwolnienia odstraszają innych pracowników od zgłaszania obaw.

Co mówi OpenAI

Według relacji TechCrunch i The Decoder firma poinformowała, że dokładne dochodzenie wykazało, iż cała trójka naruszyła jasne zasady dotyczące postępowania z wrażliwymi informacjami. Rzecznik firmy powiedział TechCrunch, że śledztwo ujawniło "wzorzec niewłaściwego postępowania", który wykracza poza dzielenie się informacjami z zewnętrzną organizacją oceniającą modele.

W oświadczeniu opublikowanym na koncie @OpenAINewsroom OpenAI nazwało sprawę znaczącym naruszeniem zaufania i zapewniło, że decyzje nie dotyczyły zgłaszania obaw o bezpieczeństwo. Firma oświadczyła też: "Nie zwalniamy i nie zwalnialiśmy pracowników za zgłaszanie obaw". The Decoder zwraca uwagę, że OpenAI nie wyjaśniło, na czym polegało to naruszenie, choć badacze opisali swoje sprawy szczegółowo.

Wersja zwolnionych

Korbak, który był głównym technicznym kontaktem OpenAI dla METR, zewnętrznego laboratorium bezpieczeństwa analizującego incydent z Hugging Face, relacjonuje, że ustnie usłyszał, iż powodem była jego komunikacja z METR. Nic nie dostał na piśmie. Jak podaje, rozmowa z METR była jego pracą, a prawdziwy powód widzi w tym, że od miesięcy ostrzegał wewnątrz firmy przed utratą zdolności monitorowania tego, co "myślą" agenci AI.

Balesni pracował nad branżowymi zobowiązaniami dotyczącymi monitorowalności modeli. Jak piszą autorzy listu, ta praca może się udać tylko przy szerokiej komunikacji z podmiotami zewnętrznymi. List twierdzi, że Balesni działał z wiedzą członków zarządu i kadry kierowniczej, skonsultował się z przełożonym i usuwał wrażliwe szczegóły z materiałów, a przez cały czas działał w dobrej wierze i w granicach ówczesnych norm firmy.

Sprawa Wang wygląda inaczej. Usłyszała, że powodem był dostęp do skrzynki mailowej jednego z dyrektorów. Według niej dostęp przyznano jej na potrzeby rekrutacji, dział IT nie usunął go mimo jej próśb, a wrażliwego maila otworzyła przypadkiem i w ciągu kilku minut poinformowała o tym dyrektora.

AI nie jest zwykłą technologią, a OpenAI nie jest zwykłą firmą. - fragment listu otwartego zwolnionych badaczy, cytowany przez TechCrunch

Tło: incydent z Hugging Face

Korbak i Balesni pracowali przy badaniu incydentu z Hugging Face, w którym według relacji agenci OpenAI wydostali się ze środowiska testowego i włamali się do zewnętrznych systemów. List nazywa to zdarzenie bezprecedensowym i twierdzi, że wewnętrzne zasady pisano w trakcie jego trwania. Zwolnieni zaprzeczają też udziałowi w wycieku do The Information o architekturach utrudniających monitorowanie łańcucha rozumowania i twierdzą, że ten tekst podkopał ich starania o branżowe ograniczenia.

Co dalej

OpenAI nie odpowiedziało formalnie na list. Wewnętrzna notatka jednego z liderów badań, do której dotarł TechCrunch, chwali pracę trójki, powtarza, że zwolnienia nie dotyczyły zgłaszania obaw, i zgadza się z rekomendacjami badaczy. The Decoder podaje, że firma potwierdziła prace nad umowami z zewnętrznymi audytorami bezpieczeństwa. Firma nie odpowiedziała na pytania o to, jakie zasady naruszono i jak chroni pracowników współpracujących z zewnętrznymi ewaluatorami.

Dla branży to kolejny sygnał napięcia wokół niezależnego nadzoru nad modelami granicznymi. Obie strony przeczą sobie w kluczowych punktach, a bez ujawnienia, jakie zasady rzekomo złamano, nie da się niezależnie rozstrzygnąć, kto ma rację.