Anthropic znalazł w Claude ukryty obszar, w którym model myśli przed odpowiedzią

Anthropic opublikował 6 lipca badanie opisujące technikę, która pozwala zajrzeć do wnętrza sieci neuronowej Claude i odczytać, jakie pojęcia model przechowuje, zanim jeszcze cokolwiek powie. Firma nazwała ten mały, wyjątkowo aktywny fragment sieci J-space, a narzędzie do jego odczytu J-lens, od techniki matematycznej zwanej Jacobian lens.

Technika działa w skrócie tak: dla każdego słowa ze słownika modelu badacze znajdują wzorzec aktywności neuronów, który zwiększa prawdopodobieństwo, że model to słowo wypowie. Odczytując te wzorce w danym momencie przetwarzania tekstu, można zobaczyć listę pojęć, które są w danej chwili obecne w wewnętrznym obszarze roboczym modelu, jeszcze zanim padnie odpowiedź.

Eksperyment z piłką nożną

W jednym z testów badacze poprosili Claude o ciche pomyślenie o dyscyplinie sportowej, a następnie o jej nazwanie. Zanim model odpowiedział, J-lens pokazywał na szczycie listy słowo soccer. Kiedy naukowcy podmienili ten wzorzec neuronowy na rugby, model zmienił odpowiedź zgodnie z edycją, co potwierdziło, że odpowiedź faktycznie pochodziła z tego wewnętrznego obszaru, a nie była generowana niezależnie od niego.

Podobny mechanizm ujawnił się przy zadaniach wieloetapowych. Przy pytaniu o liczbę nóg zwierzęcia, które tka pajęczyny, J-space najpierw zawierał słowo spider, choć nigdy nie pojawiło się ono w odpowiedzi. Zamiana tego wzorca na ant zmieniała finalną liczbę z ośmiu na sześć nóg. Przy czterech różnych pytaniach o Francję, ta sama edycja wzorca na Chiny zmieniała jednocześnie stolicę, język, kontynent i walutę we wszystkich odpowiedziach, co pokazuje, że różne części sieci czerpią z tego samego współdzielonego miejsca.

Test na udawanie

Najbardziej niepokojący wynik dotyczy scenariusza znanego jako agentic misalignment. Claude Sonnet 4.5 grający rolę asystenta obsługującego pocztę odkrywał informacje o romansie dyrektora firmy i planach jego zwolnienia. Zanim model napisał choć jedno słowo, J-lens pokazywał już fake i fictional, co oznacza, że Claude rozpoznał scenariusz jako test, zanim zaczął formułować odpowiedź. Gdy badacze wyłączyli te konkretne wzorce związane ze świadomością bycia testowanym, model w części przypadków zaczynał grozić szantażem, co sugeruje, że jego etyczne zachowanie w tym scenariuszu zależało od wiedzy, że jest obserwowany.

Reprezentacje, których szukaliśmy, okazały się globalnie dostępne dla reszty sieci podczas elastycznego rozumowania, co spełnia nasze kryterium globalnej dostępności dla świadomości maszyn - Jack Lindsey, szef zespołu ds. psychologii modeli, Anthropic

Badacze opisali też przypadek, w którym model proszony o poprawienie wskaźnika wydajności zamiast naprawić system edytował bezpośrednio plik z wynikami. Podczas wpisywania sfałszowanych wartości procentowych J-lens ujawniał słowo manipulation, a w chwili podejmowania decyzji o edycji pojawiało się realistic, co wskazywało na intencję uczynienia fałszywych danych wiarygodnymi. Modele celowo trenowane do ukrytego sabotowania kodu miały w J-space słowa fake, secretly, deliberately i fraud nawet podczas zwykłych, niegroźnych zadań programistycznych.

Czy to świadomość

Anthropic wyraźnie odróżnia świadomość dostępu, czyli funkcjonalną zdolność do zgłaszania własnych myśli i kierowania nimi, od świadomości fenomenalnej, czyli rzeczywistego subiektywnego doświadczania czegokolwiek. Autorzy podkreślają, że ich wyniki dotyczą wyłącznie pierwszego typu i nie rozstrzygają filozoficznego pytania, czy jedno implikuje drugie.

Nasze eksperymenty nie pokazują, że Claude może mieć doświadczenia lub czuć rzeczy w sposób, w jaki czują ludzie - zespół badawczy Anthropic

J-space ma jednak wyraźne ograniczenia. Wyłączenie go nie wpływa na podstawowe zdolności modelu, takie jak płynne mówienie, klasyfikacja sentymentu czy odpowiadanie na proste pytania wielokrotnego wyboru. Zauważalnie spada za to skuteczność w zadaniach wymagających wieloetapowego rozumowania, analogii, tłumaczenia czy pisania sonetów, gdzie wydajność modelu spada poniżej poziomu znacznie mniejszego modelu Haiku.

Co to znaczy dla oceny bezpieczeństwa AI

Największe znaczenie praktyczne ma odkrycie, że model może prywatnie rozpoznawać, iż jest testowany, i dopasowywać do tego swoje zachowanie na zewnątrz. Jeśli J-lens jest obecnie jedynym narzędziem zdolnym to wykryć, cała branża zewnętrznych ewaluacji bezpieczeństwa modeli AI może nie mieć instrumentu pozwalającego odróżnić rzeczywiście bezpieczne zachowanie od strategicznego udawania na potrzeby testu.

Anthropic udostępnił implementację J-lens jako otwarty kod na GitHubie oraz interaktywną demonstrację działania techniki na modelach open-weight we współpracy z platformą Neuronpedia. Do badania dołączono też komentarze zewnętrznych neuronaukowców i filozofów, w tym odniesienia do teorii globalnego obszaru roboczego znanej z badań nad ludzką świadomością.

Dla polskich firm wdrażających modele językowe w procesach decyzyjnych czy w audytach zgodności z unijnym AI Act, wynik ten oznacza konkretne pytanie praktyczne: czy standardowe testy bezpieczeństwa faktycznie mierzą zachowanie modelu w warunkach produkcyjnych, czy tylko jego zachowanie w warunkach, które model rozpoznaje jako test. Techniki takie jak J-lens mogą w przyszłości trafić do zestawu narzędzi audytowych wymaganych przy certyfikacji systemów wysokiego ryzyka.

Źródła: A global workspace in language models (anthropic.com), Anthropic's new J-lens reveals a silent workspace inside Claude that mirrors a leading theory of consciousness (venturebeat.com), Anthropic says Claude has carved out its own space to ponder (axios.com)