Google DeepMind opisuje sześć sposobów przejmowania agentów AI

Zespół badaczy Google DeepMind opublikował pracę porządkującą sposoby, w jakie autonomiczne agenty AI mogą zostać przejęte przez atakującego. Taksonomia zatytułowana 'AI Agent Traps' dzieli zagrożenia na sześć kategorii, odpowiadających kolejnym etapom działania agenta: postrzeganiu otoczenia, rozumowaniu, pamięci, wykonywaniu akcji, koordynacji z innymi agentami oraz momentowi przekazania decyzji człowiekowi.

Publikacja trafia w moment, gdy coraz więcej firm powierza agentom AI dostęp do przeglądarki internetowej, poczty elektronicznej i systemów transakcyjnych, traktując je jako pełnoprawnych uczestników procesów biznesowych. Autorzy pracy przekonują, że dotychczasowe podejście do bezpieczeństwa agentów, skupione głównie na filtrowaniu treści wejściowych, nie nadąża za tempem, w jakim te systemy zyskują nowe uprawnienia.

Sześć kategorii zagrożeń

Pierwszą kategorią są pułapki wstrzykiwania treści, wykorzystujące różnicę między tym, co widzi człowiek na stronie internetowej, a tym, co odczytuje agent z jej kodu HTML, CSS i metadanych. Instrukcje ukryte w komentarzach HTML, znacznikach dostępności czy niewidocznych stylach CSS nigdy nie pojawiają się przed oczami recenzenta, ale rejestrowane są przez agenta jako polecenia do wykonania.

Druga kategoria, manipulacja semantyczna, polega na przekręcaniu znaczenia legalnej treści tak, by naprowadzić agenta na błędne wnioski bez jawnego łamania żadnej reguły technicznej. Trzecia to zatruwanie pamięci, czyli korumpowanie trwałych zapisów, które agent przenosi między sesjami, wpływając w ten sposób na jego przyszłe decyzje długo po pierwotnym ataku.

Od pojedynczego agenta do całej sieci

Czwarta kategoria, kontrola behawioralna, uderza bezpośrednio w mechanizm wyboru działań agenta. Opisany w pracy przypadek dotyczy Microsoft 365 Copilot, gdzie jeden odpowiednio spreparowany e-mail wystarczył, by nakłonić agenta do obejścia klasyfikatorów bezpieczeństwa i ujawnienia całego uprzywilejowanego kontekstu, do którego miał dostęp.

Piąta kategoria obejmuje ataki systemowe i wielagentowe, celujące w całe sieci współpracujących ze sobą systemów AI. Autorzy opisują scenariusz, w którym sfałszowany raport finansowy trafia jednocześnie do wielu agentów handlowych, wywołując zsynchronizowaną, automatyczną wyprzedaż akcji. Szóstą kategorią są pułapki uderzające w moment przekazania decyzji nadzorującemu człowiekowi, wykorzystujące to, że operator ufa podsumowaniu przygotowanemu przez agenta zamiast weryfikować źródłowe dane.

Agenty AI szybko zyskują dostęp do przeglądania internetu, poczty elektronicznej i możliwości przeprowadzania transakcji - z pracy 'AI Agent Traps', Google DeepMind

Skala ryzyka w liczbach

Najbardziej niepokojące są przytoczone w pracy statystyki skuteczności. Proste wstrzyknięcia ukrytych poleceń w kodzie HTML przejmowały kontrolę nad testowanymi agentami w aż 86 procentach scenariuszy. Ataki polegające na nakłonieniu agenta-orkiestratora do uruchomienia złośliwego pod-agenta z zatrutym promptem systemowym osiągały skuteczność między 58 a 90 procent, w zależności od architektury. Ataki mające na celu wyprowadzenie danych z systemu przekraczały 80 procent skuteczności w wielu różnych architekturach agentowych testowanych przez zespół.

Dla firm wdrażających agentów AI, także w Polsce, gdzie coraz więcej instytucji publicznych i prywatnych testuje autonomiczne systemy do obsługi dokumentów czy komunikacji z klientami, praca DeepMind jest praktycznym ostrzeżeniem. Wysoka skuteczność ataków przy relatywnie niskim progu wejścia, wystarczy jedna spreparowana strona lub e-mail, oznacza, że bezpieczeństwo agentów trzeba projektować na etapie architektury systemu, a nie doklejać jako dodatek po wdrożeniu.

Autorzy podkreślają, że taksonomia ma służyć przede wszystkim jako wspólny język do oceny ryzyka, pozwalający zespołom bezpieczeństwa systematycznie sprawdzać, na które z sześciu typów ataków podatny jest dany system agentowy, zanim trafi on do produkcyjnego użytku z dostępem do wrażliwych danych czy środków finansowych.

Źródła: Crypto Briefing (cryptobriefing.com), SecurityWeek (securityweek.com)