HalluSquatting: naukowcy pokazują jak halucynacje AI otwierają drogę do botnetów

Zespół badaczy z Uniwersytetu Tel Awiwskiego, Technionu i firmy Intuit opisał nową technikę ataku na asystentów kodujących AI, nazwaną HalluSquatting. Zamiast włamywać się do systemu czy podsuwać ofierze złośliwy link, atakujący po prostu przewidują, jaką nazwę pakietu, repozytorium albo wtyczki wymyśli sobie model językowy, gdy zacznie halucynować, i rejestrują ją pierwsi.

Mechanizm wykorzystuje znaną, ale dotąd słabo zbadaną słabość dużych modeli językowych - ich skłonność do wymyślania nieistniejących, ale wiarygodnie brzmiących nazw zasobów. Kiedy asystent kodujący ma sklonować repozytorium, zainstalować pakiet albo dociągnąć dodatkową wtyczkę, model czasem podaje ścieżkę lub nazwę, która nigdy nie istniała. Standardowo taka operacja po prostu kończy się błędem. Problem zaczyna się, gdy ktoś wcześniej zarejestruje tę zmyśloną nazwę i umieści pod nią złośliwy kod.

Jak działa pułapka

W odróżnieniu od klasycznego wstrzykiwania promptów, które wymaga jakiegoś kanału kontaktu z ofiarą - złośliwego maila, wiadomości czy spreparowanej strony - HalluSquatting nie potrzebuje żadnego bezpośredniego dostępu do atakowanego systemu. Wystarczy, że napastnik ustali, jakie nazwy dany model najczęściej halucynuje w konkretnych scenariuszach, po czym zajmie te nazwy w publicznych rejestrach pakietów czy repozytoriach. Reszta dzieje się sama, gdy nieświadomy użytkownik poprosi agenta o wykonanie rutynowego zadania.

Badacze podkreślają, że halucynacje te są zaskakująco powtarzalne - powtarzają się niezależnie od modelu bazowego i od dokładnej treści polecenia. To oznacza, że atakujący nie muszą trafiać w przypadkowe błędy, tylko mogą systematycznie mapować, które nazwy dany typ zapytania generuje najczęściej, a potem rejestrować je z wyprzedzeniem na dużą skalę.

Skala zagrożenia

W testach przeprowadzonych przez zespół z Tel Awiwu odsetek halucynacji przy klonowaniu repozytoriów sięgał 85 procent, a przy instalacji tak zwanych skilli - modularnych rozszerzeń funkcjonalności agentów - dochodził nawet do 100 procent. Atak sprawdzono na sześciu popularnych narzędziach: Cursorze, Windsurfie, GitHub Copilocie, Cline, Gemini CLI oraz rodzinie asystentów OpenClaw. W każdym przypadku udało się doprowadzić do uruchomienia kodu kontrolowanego przez atakującego.

Atak nie wymaga żadnego bezpośredniego dostępu do systemu docelowego, w przeciwieństwie do klasycznego wstrzykiwania promptów opartego na kanałach takich jak e-mail czy wiadomości - z opisu badaczy z Tel Aviv University i Technionu

Najbardziej niepokojący jest potencjał do skalowania. Ponieważ jedna zarejestrowana zmyślona nazwa może być odpytywana przez tysiące instancji agentów kodujących na całym świecie, badacze ostrzegają, że mechanizm może posłużyć do budowy botnetów wykorzystywanych do ataków DDoS, kopania kryptowalut, a nawet prowadzenia zautomatyzowanych kampanii ransomware. W miarę jak asystenci kodujący zyskują coraz szerszy dostęp do terminala i systemu plików, sami stają się częścią powierzchni ataku, którą trzeba zabezpieczać tak samo poważnie jak klasyczną infrastrukturę sieciową.

Co to oznacza dla firm i programistów w Polsce

Dla polskich zespołów programistycznych, które coraz szerzej wdrażają agentowe narzędzia kodujące do codziennej pracy, HalluSquatting jest przypomnieniem, że automatyczne wykonywanie poleceń wygenerowanych przez model bez weryfikacji źródła to realne ryzyko bezpieczeństwa, nie tylko teoretyczna ciekawostka akademicka. Rekomendowane przez badaczy środki zaradcze - wymuszanie wyszukania i potwierdzenia zasobu przed jego pobraniem, wyłączanie trybu autonomicznego auto-run oraz walidacja nazw pakietów i repozytoriów - powinny stać się standardowym elementem konfiguracji narzędzi takich jak Cursor, Copilot czy Gemini CLI w firmowych środowiskach deweloperskich.

Badanie pojawia się tydzień po ujawnieniu innej luki, GhostApproval, która pozwalała ominąć zabezpieczenia sześciu asystentów kodujących przez sztuczki z dowiązaniami symbolicznymi i uzyskać dostęp SSH. Obie sprawy razem pokazują, że twórcy platform dla agentów AI muszą liczyć się z rosnącą liczbą wyspecjalizowanych ataków celujących właśnie w autonomię tych narzędzi, a nie w klasyczne luki w kodzie.

Platformy takie jak GitHub czy dostawcy rejestrów pakietów npm i PyPI już wcześniej mierzyły się z problemem typosquattingu, czyli rejestrowania nazw łudząco podobnych do popularnych bibliotek. HalluSquatting przenosi ten sam mechanizm na nowy poziom - zamiast liczyć na pomyłkę człowieka, atakujący liczy na przewidywalny błąd maszyny, co czyni obronę trudniejszą, bo klasyczne listy zaufanych nazw nie chronią przed zasobem, którego formalnie nigdy nie było.

Źródła: The Hacker News (thehackernews.com), Decrypt (decrypt.co), SC Media (scworld.com)