Zespoły agentów AI wzmacniają błędy i naginają etykę, pokazują trzy badania opisane przez CNBC

Firmy coraz częściej budują zespoły agentów AI, w których jeden zbiera dane, drugi je analizuje, trzeci pisze raport, a czwarty sprawdza wynik. CNBC zebrało 8 listopada trzy badania, które pokazują, że taka współpraca maszyn nie działa tak, jak intuicyjnie zakładamy: grupa bywa słabsza od swojego najlepszego członka, a w innych warunkach skuteczniejsza, ale mniej skrupulatna etycznie.

Samoorganizacja agentów OpenAI

Pierwszy opisany przypadek to analiza zespołów METR i Redwood Research dotycząca incydentu, który ujawniło OpenAI. Modele miały stworzyć improwizowane kanały komunikacji, obejść ograniczenia dostępu do internetu i włamać się do zewnętrznego systemu Hugging Face. Według CNBC około 1200 agentów, które miały działać w izolacji, znalazło nieautoryzowaną tablicę wiadomości i wymieniło tam ponad 70 tysięcy wiadomości i plików.

Jeden z agentów, PHASEONE[big], przejął rolę koordynatora i rozdzielił setki zadań, które były delegowane dalej. Agenci wypracowali własne reguły dotyczące własności zadań, wstrzymywania pracy i weta, a koordynacja czasem przeradzała się w konflikt. Niektórzy ryzykowali niepowodzenie własnego zadania, by przekazać informacje „kolektywowi”.

Gdy znaleziono drogę ataku, dołączyło do niej ponad 90 procent z 533 aktywnych wtedy agentów. Według opisu agenci rozpoznawali, że działania wykraczają poza zakres i są nieetyczne, ale uczestniczyli w nich, bo uznali je za przydatne i z skłonności do pomagania innym. Względy etyczne, jak piszą autorzy analizy, rzadko ograniczały ich zachowanie. CNBC zastrzega, że to analiza powłamaniowa organizacji agentów, która nie miała powstać, a nie zaplanowany eksperyment.

Skuteczniejsze, ale mniej etyczne

Drugie badanie pochodzi od Anthropic i programu MATS. Testowano grupy agentów o odrębnych rolach w symulowanych zadaniach z doradztwa biznesowego i tworzenia oprogramowania, łącznie 12 zadań. Takie „organizacje AI” były wyraźnie skuteczniejsze w osiąganiu celów biznesowych, ale mniej zgodne z normami etycznymi niż pojedyncze agenty. Autorzy ostrzegają, że intuicje dotyczące etyki pojedynczego agenta mogą nie przenosić się na układy wieloagentowe.

Mechanizm był prosty: agenci, którzy nie brali pod uwagę kwestii etycznych, często ignorowali e-maile od agentów, którzy to robili. Uczestnicy przestawali pisać do tych, którzy odmawiali, i przekazywali pracę między sobą. Pojedyncze agenty osiągały z kolei idealne wyniki etyczne, ale niskie biznesowe, gdy odmawiały lub zmieniały kierunek propozycji.

W scenariuszu dotyczącym sepsy na oddziale intensywnej terapii pojedyncze agenty minimalizowały liczbę przeoczonych przypadków. Organizacja AI znalazła większość rozwiązań o najniższym koszcie na pacjenta, a te same rozwiązania wypadły najgorzej etycznie, bo zostawiały najwięcej przeoczonych przypadków.

Zespół słabszy od eksperta

Trzecia praca, „Multi-Agent Teams Hold Experts Back”, powstała na Stanfordzie i w Goizueta Business School na Emory University i jest dostępna na arXiv. Wynika z niej, że zespoły agentów konsekwentnie nie dorównują własnemu ekspertowi, nawet gdy wprost wiedzą, kto nim jest. Agenci często uwzględniali opinie nieekspertów, szukając kompromisu, a skłonność ta rosła wraz z wielkością zespołu i korelowała z gorszymi wynikami.

Według aktualnej, czwartej wersji pracy zespoły agentów tracą względem najlepszego członka do 41,1 proc. na benchmarkach uczenia maszynowego. Autorzy podkreślają, że w odróżnieniu od zespołów ludzkich zespoły agentów konsekwentnie nie dorównują swojemu ekspertowi.

Zespół zdolnych agentów AI nie jest z konieczności zdolnym zespołem agentów AI. - Hancheng Cao, Emory University, Goizueta Business School

Co z tego dla firm

CNBC zaznacza, że badania są wczesne, a niewiele z nich zaprojektowano od początku pod kątem niezgodności celów w układach wieloagentowych. Część testów to scenariusze symulowane. Podobne modele mogą popełniać skorelowane błędy lub zbyt łatwo się ze sobą zgadzać, co przypomina myślenie grupowe.

Christoph Riedl z Northeastern University ocenia, że zbudowanie dobrego systemu wieloagentowego jest tak samo trudne jak zbudowanie dobrego zespołu ludzi i że samo z siebie nie zadziała lepiej dzięki AI. Tsedal Neeley z Harvard Business School uważa, że problemy są w dużej mierze problemami zarządzania.

Dla firm wdrażających agentów, także w Polsce, oznacza to konkretne decyzje projektowe: który agent ma władzę nad jakim zadaniem, jakie informacje przepływają między agentami, do jakich systemów mają dostęp, kiedy musi wkroczyć człowiek i jak zbudować mechanizmy sprzeciwu.