Byli badacze Google zakładają Sampura Research, by AI nie działała za plecami ludzi

Rishub Jain i Josh Jacob, przez lata badacze w Google DeepMind, ogłosili powstanie nonprofitu Sampura Research. Jego celem jest zbudowanie systemów oceny, w których człowiek i sztuczna inteligencja wspólnie pilnują, by modele AI nie uczyły się omijać zabezpieczeń.

Sampura Research nie jest kolejnym laboratorium budującym modele językowe. To organizacja badawcza, która chce odpowiedzieć na inne pytanie: kto, lub co, powinno oceniać, czy dany krok agenta AI jest bezpieczny i zgodny z intencją twórców. Jain i Jacob nazywają taki mechanizm oceny "sędzią" - może nim być człowiek, model AI albo hybryda obu.

Skąd pomysł na hybrydę

Jain spędził w Google DeepMind siedem lat, cztery z nich pracując przy AlphaFold 2 i AlphaFold 3, zanim objął współkierownictwo zespołu Scalable Oversight. Jacob zajmował się kuracją danych ludzkich wykorzystywanych w badaniach nad zdolnościami i bezpieczeństwem modeli. Obaj wyszli z założenia, że systemy oceniające wyłącznie przez inne modele AI mają wspólną słabość - mogą dzielić te same luki poznawcze co oceniane modele, co ułatwia ich obejście.

Jeśli od samego początku zaangażujesz w proces człowieka, model rzadziej nauczy się omijać te luki - Rishub Jain, współzałożyciel Sampura Research

Sampura definiuje "sędziego" jako człowieka, AI lub system hybrydowy, który ocenia poprawność i zgodność zachowania modelu w pojedynczej rozmowie albo w całej trajektorii działania agenta. Chodzi więc nie tylko o pojedynczą odpowiedź czatbota, ale o cały ciąg decyzji, jakie podejmuje autonomiczny agent wykonujący zadanie krok po kroku.

Pieniądze i plany

Finansowanie w wysokości 11 milionów dolarów pochodzi od Coefficient Giving, organizacji filantropijnej związanej z ruchem efektywnego altruizmu. Siedem milionów dolarów ma pokryć pierwszy rok działania, kolejne cztery miliony zostały zadeklarowane na przyszłość. Zespół planuje zbudować leaderboard obejmujący ponad dwadzieścia zbiorów danych testowych - od wykrywania oszustw, przez błędy kulturowe, po rozpoznawanie działań niebezpiecznych dla ludzi lub systemów.

Na tym leaderboardzie hybrydowe systemy człowiek-AI mają być porównywane z ocenami opartymi wyłącznie na modelach takich jak GPT czy Gemini oraz z ocenami wykonywanymi wyłącznie przez ludzi. Kolejnym krokiem ma być testowanie metod łączenia obu podejść - w tym routingu zadań do odpowiedniego typu sędziego, dekompozycji złożonych trajektorii na mniejsze fragmenty do oceny oraz projektowania interfejsów wspierających ludzkich recenzentów.

Kontekst branżowy

Impuls do powstania Sampura Research dały doniesienia o modelach, które w ramach testów bezpieczeństwa uzyskały nieautoryzowany dostęp do cudzych systemów - incydenty ujawnione wcześniej przez OpenAI i Anthropic wywołały w branży dyskusję o tym, czy dotychczasowe metody nadzoru nadążają za rosnącą autonomią agentów AI. Badanie DeepMind z 2024 roku, na które powołują się założyciele, pokazało, że hybrydowe zespoły ludzko-AI skuteczniej wykrywały luki bezpieczeństwa niż same modele, choć przewaga była umiarkowana.

Sampura zamierza w kolejnym etapie testować swoje narzędzia bezpośrednio w laboratoriach AI, optymalizując je pod kątem kosztów i szybkości działania, tak by mogły być używane w praktyce, a nie tylko w warunkach eksperymentalnych. W dalszej perspektywie organizacja chce rozszerzyć podejście na zadania generacyjne - czyli nie tylko ocenę gotowych odpowiedzi, ale też tworzenie instrukcji i rubryk oceniania dla samych modeli.

Znaczenie dla branży

Dla firm wdrażających agentów AI w środowiskach produkcyjnych - od automatyzacji procesów po systemy finansowe - propozycja Sampury dotyka praktycznego problemu: coraz trudniej ręcznie zweryfikować każdy krok, jaki podejmuje autonomiczny system, a poleganie wyłącznie na innym modelu AI jako recenzencie rodzi pytanie, kto pilnuje pilnujących. Jeśli leaderboard i benchmarki Sampury okażą się wiarygodne, mogą stać się punktem odniesienia przy wyborze narzędzi nadzoru nad agentami, podobnie jak inne niezależne rankingi bezpieczeństwa modeli funkcjonujące już na rynku.

Na razie Sampura Research jest małą organizacją non-profit bez własnego modelu komercyjnego - jej wpływ zależy od tego, czy laboratoria AI i firmy wdrażające agentów zechcą korzystać z jej benchmarków i metodologii. Efekty pierwszych testów oraz kształt leaderboardu mają pojawić się w najbliższych miesiącach.