Anthropic odkrywa J-space, wewnętrzny mechanizm planowania w modelach Claude

Anthropic ogłosił, że zespół badawczy zajmujący się interpretowalnością zlokalizował w modelach z rodziny Claude wewnętrzny mechanizm nazwany J-space, funkcjonujący jak globalny obszar roboczy, w którym model gromadzi informacje potrzebne do planowania i formułowania odpowiedzi.

Czym jest J-space

Badanie opisane na platformie transformer-circuits.pub rozszerza wcześniejsze prace Anthropic, które lokalizowały pojedyncze interpretowalne pojęcia, zwane cechami, wewnątrz sieci neuronowej. Nowy krok polegał na połączeniu tych cech w obwody obliczeniowe, ujawniając fragment ścieżki, którą model przechodzi od słów wejściowych do słów wyjściowych.

J-space okazuje się przestrzenią, w której model prowadzi coś na kształt wewnętrznego monologu, budując reprezentacje pojęć, zanim jeszcze wygeneruje ostateczną odpowiedź widoczną dla użytkownika. Naukowcy pokazali też, że Claude potrafi myśleć we wspólnej przestrzeni pojęciowej niezależnej od konkretnego języka, co sugeruje istnienie swego rodzaju uniwersalnego języka myśli, widocznego przy tłumaczeniu tych samych zdań na różne języki.

Metoda dictionary learning

Technika stojąca za odkryciem, nazywana dictionary learning, pozwala rozkładać wzorce aktywności neuronów na zestaw ludzko zrozumiałych pojęć. Algorytm skompresował wzorce aktywacji do słownika liczącego około 10 milionów istotnych cech, gdzie każda cecha odpowiada klastrowi neuronów uaktywniających się wspólnie w reakcji na konkretne pojęcie.

To podejście różni się od wcześniejszych prób interpretowalności, które analizowały pojedyncze neurony w oderwaniu od kontekstu. Łącząc cechy w obwody, badacze mogą prześledzić nie tylko co model reprezentuje wewnętrznie, ale też jak te reprezentacje wpływają na siebie nawzajem na drodze do finalnej odpowiedzi.

Dlaczego to pilne dla Anthropic

Szef Anthropic Dario Amodei przedstawił interpretowalność jako pilny priorytet firmy w eseju zatytułowanym The Urgency of Interpretability. Porównał obecny stan rozwoju AI do budowania reaktora jądrowego bez schematów i narzędzi diagnostycznych, podkreślając, że modele stały się zbyt potężne, by traktować je jako czarną skrzynkę, zwłaszcza gdy trafiają do zastosowań w obronności, medycynie i finansach.

Budujemy reaktor jądrowy bez schematów i narzędzi diagnostycznych - Dario Amodei, CEO Anthropic

Firma testuje równolegle kilka podejść badawczych, od mapowania aktywności pojedynczych neuronów po analizę powtarzających się wzorców decyzyjnych i przypisywanie znaczenia konkretnym fragmentom sieci neuronowej. Cel na 2027 rok to konkretny, wyznaczony w czasie punkt odniesienia, a nie ogólna deklaracja kierunku.

Znaczenie dla bezpieczeństwa i biznesu

Dla firm wdrażających modele językowe w procesach decyzyjnych, takich jak ocena wniosków kredytowych czy diagnostyka medyczna, narzędzia interpretowalności oznaczają realną szansę na audyt tego, dlaczego model podjął konkretną decyzję, a nie tylko obserwację wyniku. To może mieć znaczenie regulacyjne w kontekście unijnego AI Act, który wymaga wyjaśnialności systemów wysokiego ryzyka.

Anthropic zapowiada współpracę z instytucjami akademickimi i partnerami z branży technologicznej przy dalszym rozwoju tej linii badawczej. Otwarte pozostaje pytanie, czy metoda J-lens okaże się skuteczna także przy znacznie większych i bardziej złożonych modelach niż te badane dotychczas.

Źródła: Benchmark.pl (benchmark.pl), PurePC.pl (purepc.pl)