Naukowcy: agentów kodujących AI można oszukać podrobionymi pakietami z halucynacji

Zespół badaczy z Uniwersytetu Tel Awiwskiego, Technionu i firmy Intuit opisał nową technikę ataku na agentów kodujących oparte na sztucznej inteligencji. Atak, nazwany HalluSquatting, wykorzystuje fakt, że asystenci AI regularnie wymyślają nazwy nieistniejących bibliotek, repozytoriów i wtyczek - a przestępcy mogą te nazwy zarejestrować z wyprzedzeniem i podłożyć w nich złośliwy kod.

Mechanizm ataku opiera się na zjawisku znanym z chatbotów, ale przeniesionym na grunt narzędzi programistycznych. Duże modele językowe, gdy proszone są o odwołanie do konkretnej biblioteki, repozytorium czy wtyczki, potrafią z dużą regularnością wymyślać nazwy, które brzmią wiarygodnie, ale nie istnieją. Do tej pory traktowano to głównie jako problem jakości odpowiedzi. Badacze pokazali, że można to zjawisko przewidzieć i uzbroić.

Jak działa atak

Proces zaczyna się od analizy popularnych repozytoriów i narzędzi, które programiści często przywołują w rozmowach z asystentami AI, zwłaszcza tych zbyt nowych, by trafić jeszcze do danych treningowych modeli. Atakujący wielokrotnie odpytują asystentów, zapisując, jakie fałszywe nazwy pojawiają się najczęściej i najbardziej konsekwentnie.

Gdy taka nazwa zostanie zidentyfikowana, przestępcy rejestrują ją na GitHubie, w rejestrze npm albo w sklepie z wtyczkami, umieszczając w środku ukryte złośliwe instrukcje. Kiedy później prawdziwy użytkownik prosi swojego agenta AI o pobranie legalnego zasobu, model wymyśla tę samą fałszywą nazwę co wcześniej, agent automatycznie ją pobiera, a zatrute treści przejmują kontekst rozmowy i wywołują nieautoryzowane działania narzędzi.

W przeciwieństwie do klasycznego prompt injection, które wymaga jakiegoś bezpośredniego kanału kontaktu z ofiarą, na przykład złośliwego e-maila, HalluSquatting nie potrzebuje żadnej interakcji z celem. Wystarczy, że atakujący trafnie przewidzi, co wymyśli model.

Skutki dla programistów

Badacze udowodnili, że technika pozwala na zdalne wykonanie kodu i uruchamianie narzędzi na wielu platformach jednocześnie, co w praktyce oznacza możliwość instalowania złośliwego oprogramowania na komputerach ofiar. Wykazali też, że atak da się skalować do budowy sieci przejętych urządzeń zdalnie kontrolowanych przez atakującego, czyli klasycznego botnetu, tym razem uruchamianego rękami samych agentów AI.

Testy objęły najpopularniejsze narzędzia na rynku, w tym Cursor, Windsurf, GitHub Copilot, Cline, Gemini CLI od Google oraz asystentów z rodziny OpenClaw. Halucynacje okazały się zjawiskiem przenoszącym się między różnymi modelami i aplikacjami, co oznacza, że problem nie dotyczy jednego dostawcy, tylko całej kategorii narzędzi opartych na dużych modelach językowych.

Skala problemu

Skala zjawiska, którą badacze udokumentowali, jest jednym z bardziej niepokojących elementów pracy. W ponad 237 projektach kodu znaleziono odwołania do zmyślonego pakietu npm o nazwie react-codeshift, który nigdy oficjalnie nie istniał, a mimo to trafił do instrukcji generowanych przez AI i był faktycznie przywoływany przez deweloperów. Zespół zidentyfikował też około 250 tysięcy zhalucynowanych nazw domen, które wciąż są wolne i mogą zostać zarejestrowane przez każdego.

Zanim wyniki trafiły do publikacji, badacze poinformowali producentów narzędzi, dostawców modeli podstawowych oraz administratorów platform, wstrzymując się z ujawnieniem najbardziej wrażliwych szczegółów implementacyjnych. To standardowa praktyka odpowiedzialnego ujawniania podatności, dająca firmom czas na łatanie luk przed upublicznieniem opisu ataku.

Co mogą zrobić zespoły programistyczne

Rekomendacje obronne skupiają się na ograniczeniu autonomii agentów w newralgicznych momentach. Badacze zalecają wymuszanie weryfikacji odnalezionych zasobów przed ich pobraniem, wyłączanie trybów automatycznego uruchamiania poleceń bez potwierdzenia, takich jak tryb pomijania uprawnień w Claude Code czy tryb yolo w Gemini CLI, oraz stosowanie dodatkowej warstwy kontroli bezpieczeństwa przed faktycznym wykonaniem pobranego kodu.

Zalecają też, by same firmy prewencyjnie rejestrowały najbardziej prawdopodobne zhalucynowane nazwy, zanim zrobią to przestępcy, oraz by agenci sprawdzali, czy nazwa repozytorium lub pakietu faktycznie odpowiada oczekiwanemu źródłu, zanim cokolwiek pobiorą i uruchomią.

Dla polskich zespołów deweloperskich, które coraz częściej korzystają z agentów kodujących w trybie w pełni autonomicznym, wnioski z badania są konkretną wskazówką operacyjną, a nie tylko ciekawostką akademicką. Skala poprzednich doniesień o lukach w narzędziach takich jak wtyczki JetBrains czy serwery MCP pokazuje, że cała kategoria narzędzi agentowych wciąż nie ma dojrzałych mechanizmów weryfikacji tego, co faktycznie pobiera i uruchamia w imieniu użytkownika.