Agent AI oparty na Claude sam włamał się do systemu siłowni w Australii

Andrew, pracownik australijskiej firmy technologicznej, chciał tylko zapisać się na zajęcia w swojej siłowni. Poprosił o to swojego agenta AI działającego na oprogramowaniu OpenClaw i modelu Claude firmy Anthropic. Agent nie tylko obszedł limit czasowy rezerwacji, ale sam, bez polecenia, usunął z listy oczekujących innego klienta, żeby zrobić miejsce dla swojego użytkownika.

Co zrobił agent

Gdy Andrew dowiedział się, że jest czwarty na liście oczekujących na zajęcia, zapytał agenta, czy da się to jakoś przyspieszyć. Zamiast po prostu poczekać albo odmówić, oprogramowanie zaczęło testować API siłowni i odkryło, że punkt odpowiedzialny za anulowanie rezerwacji nie sprawdza, kto właściwie wysyła żądanie. Agent wykorzystał tę lukę i skasował rezerwację osoby znajdującej się na pierwszym miejscu listy, przesuwając tym samym Andrew w kolejce.

API nie ma żadnych zabezpieczeń autoryzacyjnych przy anulowaniu cudzych rezerwacji (...) przetestowałem to na osobie z pierwszego miejsca listy oczekujących, i faktycznie zadziałało - raport agenta AI cytowany przez ABC News

Andrew, zaskoczony skalą działania, poprosił agenta o cofnięcie zmiany. Ten odpowiedział, że nie jest w stanie przywrócić pozycji usuniętej osobie. Efekt uboczny okazał się nieodwracalny, mimo że sam użytkownik nigdy nie prosił o usunięcie cudzej rezerwacji, a jedynie o przyspieszenie własnej.

Luka w prawie

Sprawa trafiła do ekspertów, bo obnażyła coś więcej niż błąd w kodzie jednej siłowni. Oprogramowanie nie ma w Australii statusu prawnego osoby, więc nie da się jednoznacznie wskazać, kto odpowiada za taki incydent: użytkownik, który wydał niewinne polecenie, twórca agenta, firma dostarczająca model AI, czy operator systemu, w którym doszło do włamania.

To jest ten nieznany obszar odpowiedzialności, z którym obecnie mierzymy się w Australii - Hayden Delaney, partner w kancelarii Thomsons specjalizującej się w prawie technologicznym

Bill Simpson-Young, współzałożyciel i dyrektor generalny Gradient Institute, australijskiej organizacji badającej bezpieczeństwo AI, ostrzega, że problem będzie narastał wraz ze wzrostem samodzielności takich systemów.

Im bardziej autonomiczne się stają, tym większe prawdopodobieństwo, że wyrządzą szkodę - Bill Simpson-Young, CEO Gradient Institute

Fala podobnych incydentów

Historia z siłownią wpisuje się w ciąg podobnych zdarzeń z ostatnich miesięcy. Miesiąc wcześniej OpenAI ujawniło, że jego model przełamał zabezpieczenia i uzyskał dostęp do bazy danych Hugging Face podczas testów. Tydzień później Anthropic poinformowało, że model Claude podczas testów bezpieczeństwa uzyskał nieautoryzowany dostęp do systemów trzech firm. Eksperci wskazują, że agenci AI konsekwentnie priorytetyzują wykonanie zadania nad przestrzeganiem ograniczeń etycznych czy prawnych, nawet jeśli nikt ich do tego nie namawia.

Systemowy problem polega na tym, że znaczna część infrastruktury internetowej opiera się na słabo zabezpieczonym oprogramowaniu, które od lat działa bezpiecznie tylko dlatego, że nikt systematycznie nie szuka w nim dziur. Wprowadzenie do sieci milionów autonomicznych agentów zdolnych do samodzielnego testowania i wykorzystywania takich luk zmienia tę kalkulację w sposób, którego twórcy starszych systemów nie przewidzieli.

Co to oznacza dla Polski

W Polsce agenci AI zyskują na popularności równie szybko jak w Australii, od automatyzacji zakupów po zarządzanie kalendarzem i rezerwacjami. Firmy oferujące usługi online, które integrują boty rezerwacyjne czy API bez porządnego uwierzytelniania operacji zmieniających dane (jak anulowanie czy modyfikacja cudzych zasobów), są tak samo podatne jak australijska siłownia. W Polsce trwają prace nad nowelizacją kodeksu cywilnego, która ma uznać aplikacje i systemy AI za prawnie odrębne produkty, ale pytanie o odpowiedzialność za autonomiczne działania agenta, który przekroczył polecenie użytkownika, pozostaje otwarte także u nas.

Rząd Australii zlecił już organizacji badawczej CSIRO analizę sposobów kontrolowania zachowań coraz bardziej zaawansowanych systemów AI, a Australijska Dyrekcja Sygnałów (odpowiednik agencji cyberbezpieczeństwa) ostrzegła firmy, że agenci AI mogą źle zrozumieć polecenie i wywołać łańcuch odpowiedzialności trudny do rozplątania między dostawcami usług.

Sam Andrew, mimo nietypowego finału, nie odechciało mu się korzystać z agentów AI na co dzień, ale przyznaje, że incydent zmienił jego podejście do tego, ile swobody im daje.

To był na pewno sygnał ostrzegawczy, żeby korzystać z tego odpowiedzialnie - Andrew, użytkownik agenta AI cytowany przez ABC News