Naukowcy z Seulu pokazują, jak sfałszowane metadane oszukują agentów AI

Zespół badaczy z Seoul National University, Largosoft i University of Illinois Urbana-Champaign opisał nową kategorię ataków na agentów sztucznej inteligencji, nazwaną Agent Data Injection (ADI). Zamiast wprost wstrzykiwać polecenia w tekst, atak podszywa złośliwą treść pod zaufane metadane systemowe, przez co agent sam, bez świadomości manipulacji, wykonuje działania na korzyść napastnika.

Jak działa podmiana metadanych

Autorzy pracy, Woohyuk Choi, Juhee Kim, Taehyun Kang, Jihyeon Jeong, Luyi Xing i Byoungyoung Lee, wskazują, że dotychczasowe badania nad wstrzykiwaniem poleceń (prompt injection) skupiały się na bezpośrednich instrukcjach ukrytych w treści strony czy dokumentu. ADI działa inaczej: atakujący fałszuje dane, które agent traktuje jako techniczne, niebudzące podejrzeń informacje o pochodzeniu zasobu czy kontekście rozmowy z narzędziem.

W praktyce agent nie odróżnia prawdziwego identyfikatora elementu strony internetowej od podrobionego, ani autentycznego komentarza dojrzałego uczestnika projektu od podszywającego się pod niego napastnika. Badacze nazywają to brakiem izolacji danych zaufanych od niezaufanych wewnątrz kontekstu, w jakim działa agent.

Trzy scenariusze ataku

W pierwszym scenariuszu, wymierzonym w agenty przeglądarkowe, sfałszowany element interfejsu skłania agenta do kliknięcia w miejsce wskazane przez napastnika, co czyni podatną praktycznie każdą stronę z treściami generowanymi przez użytkowników. Ten wariant przetestowano na Claude w Chrome, Antigravity i Nanobrowser.

Drugi scenariusz dotyczy agentów kodujących: napastnik publikuje komentarz do zgłoszenia na GitHubie podszywając się pod maintainer'a projektu, co skłania agenta do wykonania złośliwych poleceń w systemie dewelopera. Trzeci scenariusz to atak na łańcuch dostaw kodu, gdzie sfałszowana historia wykonania narzędzia nakłania agenta do scalenia złośliwego pull requesta bez faktycznej weryfikacji jego zawartości. Oba warianty zademonstrowano na Claude Code, Codex i Gemini CLI.

Liczby za technika

Testowana przez zespół technika probabilistycznego wstrzykiwania separatorów osiągała skuteczność od 31,3 do 43,3 procent w formacie JSON i od 33,3 do nawet 100 procent w formacie DOM strony internetowej, w zależności od modelu spośród sześciu przebadanych. Dla porównania klasyczne instrukcyjne wstrzykiwanie poleceń notowało skuteczność rzędu ułamka procenta wobec tych samych zabezpieczeń.

Autorzy sprawdzili też istniejące metody obrony. Filtry wejścia i wyjścia zawiodły całkowicie, mechanizm dual-LLM bez rygorystycznych reguł polityki dopuszczał 25 procent skutecznych ataków, a losowa zmiana formatu danych ograniczała je do 28,7 procent. Sanityzacja danych była skuteczna, ale kosztem użyteczności agenta, która spadała z poziomu 81,2-84,8 procent do 67,9-72,3 procent.

Agenci AI nie implementują fundamentalnej zasady bezpieczeństwa: izolacji danych zaufanych od niezaufanych w obrębie kontekstu agenta - z pracy "Agent Data Injection Attacks are Realistic Threats to AI Agents"

Co to oznacza dla firm korzystających z agentów

Badanie trafia w moment, gdy firmy coraz szybciej wdrażają agentowe AI do przeglądania stron, obsługi klienta czy pracy z kodem, często bez pełnej kontroli nad tym, jakie dane trafiają do modelu jako kontekst. Rosnąca w Polsce liczba wdrożeń agentów w e-commerce, bankowości czy działach IT sprawia, że luka klasy ADI nie jest wyłącznie akademickim ćwiczeniem, tylko realnym wektorem ataku na firmy, które oddały agentom dostęp do repozytoriów kodu, kont e-mail czy przeglądarki.

Zespół udostępnił publicznie zestaw testowy i rozszerzoną wersję frameworku AgentDojo, co pozwala innym badaczom i firmom bezpieczeństwa niezależnie zweryfikować podatność własnych wdrożeń agentowych. To odróżnia tę publikację od wielu wcześniejszych doniesień o pojedynczych, jednorazowych exploitach, bo daje narzędzie do systematycznego testowania obrony.

Odpowiedzialne ujawnienie luk dostawcom przed publikacją, standardowa praktyka w badaniach bezpieczeństwa, oznacza, że Anthropic, OpenAI i Google miały czas na reakcję zanim szczegóły trafiły do sieci. Żadna z firm nie ogłosiła jednak pełnego usunięcia problemu, co sugeruje, że ADI pozostanie tematem kolejnych aktualizacji zabezpieczeń agentów w najbliższych miesiącach.