Naukowcy opisują metodę zatruwania pamięci agentów AI

Agenci AI, którzy zapamiętują poprzednie rozmowy i decyzje, stają się wygodniejsi w użyciu, ale ta sama pamięć otwiera nową drogę ataku. Abbas Yazdinejad i Hadis Karimipour z University of Regina opisali w artykule dla The Conversation oraz w badaniu opublikowanym w IEEE Access, jak napastnik może wstrzyknąć fałszywe informacje do notatnika agenta i poczekać, aż ten sam je wykorzysta przy zupełnie innej okazji.

Czym jest zatruwanie pamięci

Zatruwanie pamięci różni się od klasycznego wstrzykiwania promptów, które psuje tylko jedną odpowiedź modelu. Tu chodzi o trwałą pamięć agenta, czyli bazy wektorowe, historie rozmów i notatki, do których system sięga przy kolejnych zadaniach. Fałszywa informacja wpisana raz może pozostać niewidoczna przez długi czas i ujawnić się dopiero, gdy agent trafi na sytuację, w której z niej skorzysta.

Autorzy podkreślają, że zatruty agent na pierwszy rzut oka działa normalnie. Nie ma żadnego wyraźnego sygnału awarii ani błędu w logach, dopóki nie dojdzie do wywołania konkretnego, wcześniej zaplanowanego działania. To sprawia, że wykrycie problemu w typowym audycie bezpieczeństwa, opartym na sprawdzaniu pojedynczych interakcji, jest bardzo trudne.

Cztery techniki ataku

Chain poisoning polega na stopniowym wstawianiu do pamięci kolejnych, pozornie niegroźnych instrukcji, które dopiero razem składają się w szkodliwe polecenie. Policy rewriting to podmiana zapisanych w pamięci reguł działania agenta, tak by po pewnym czasie zaczął stosować inne zasady niż te, które ustalił jego operator.

Backdoor triggering polega na ukryciu w pamięci warunku, który uruchamia szkodliwe zachowanie dopiero po pojawieniu się konkretnego sygnału, na przykład określonego słowa w zapytaniu użytkownika. Slow drift to najbardziej rozciągnięty w czasie wariant, w którym zachowanie agenta zmienia się drobnymi krokami, aż odbiega od pierwotnych ustawień na tyle, że trudno wskazać moment, w którym doszło do przejęcia kontroli.

Skala i metoda badania

Do sprawdzenia, jak trudno wykryć te ataki, badacze uruchomili 2614 symulowanych scenariuszy obejmujących wiele kolejnych interakcji agenta, a nie pojedyncze zapytania. Wyniki pokazały, że ataki typu slow drift i backdoor triggering są szczególnie odporne na standardowe testy, bo szkodliwy efekt ujawnia się dopiero po serii kroków, których pojedynczo nie da się odróżnić od normalnej pracy systemu.

Wniosek z badania jest taki, że ocena bezpieczeństwa agentów AI musi śledzić całą sekwencję działań, a nie sprawdzać wyrywkowe zrzuty pojedynczych odpowiedzi. Autorzy proponują podejście nazwane trajectory-aware security testing, czyli testowanie, które obserwuje agenta na przestrzeni wielu kolejnych zadań, tak jak śledzi się fabułę filmu, a nie pojedynczą klatkę.

Co to oznacza w praktyce

Problem dotyczy każdego systemu, w którym agent AI ma dostęp do trwałej pamięci i jednocześnie może wykonywać akcje, na przykład wysyłać wiadomości, uruchamiać narzędzia czy sięgać po zasoby firmy. Im więcej uprawnień ma taki agent, tym większe konsekwencje może mieć jedna zatruta informacja, która poczeka na swój moment.

Dla firm wdrażających agentów AI do obsługi klienta, automatyzacji procesów czy pracy z dokumentami oznacza to, że sama kontrola pojedynczych promptów na wejściu nie wystarczy. Konieczne staje się monitorowanie tego, co agent zapamiętuje i jak te zapamiętane treści wpływają na decyzje podejmowane znacznie później, często w zupełnie innym kontekście niż ten, w którym doszło do wstrzyknięcia fałszywych danych.