Agenci AI zyskują autonomię, firmy wciąż nie potrafią kontrolować ich błędów

Agenci AI przestają być dodatkiem do firmowego oprogramowania i zaczynają samodzielnie wykonywać zadania: wypełniają formularze, zarządzają chmurą, autoryzują płatności. Tempo wdrożeń rośnie szybciej niż zdolność firm do pilnowania, co te systemy właściwie robią, pokazują najnowsze dane branżowe i badanie naukowe opublikowane na łamach Computerworld.pl.

Skala wdrożeń

Gartner szacuje, że skok z poniżej 5 procent do 40 procent aplikacji enterprise wyposażonych w wyspecjalizowanych agentów w ciągu jednego roku to jedno z najszybszych tempem wdrożeń nowej technologii w historii oprogramowania biznesowego. Firmy przesuwają agentów z roli asystenta odpowiadającego na pytania do roli wykonawcy, który sam inicjuje działania w systemach księgowych, CRM czy infrastrukturze chmurowej.

Różnica względem wcześniejszych fal automatyzacji polega na uprawnieniach. Klasyczny chatbot działał w izolowanej sesji i nie miał dostępu do plików ani kluczy API. Agent AI, o którym piszą eksperci Computerworld.pl, bywa zintegrowany z warstwą systemu operacyjnego, potrafi czytać i zapisywać pliki, uruchamiać skrypty oraz łączyć się z zewnętrznymi usługami bez pytania człowieka o każdy krok.

Test na dziewięćdziesięciu scenariuszach

Skalę problemu pokazuje badanie zespołu z Uniwersytetu Kalifornijskiego w Riverside, przeprowadzone we współpracy z Microsoftem i NVIDIA, opisane w pracy "Just Do It!? Computer-use Agents Exhibit Blind Goal Directness" opublikowanej na serwerze arXiv. Naukowcy pod kierunkiem Erfana Shayeganiego zbudowali zestaw testowy BLIND-ACT, obejmujący 90 scenariuszy, i sprawdzili na nim dziesięć popularnych systemów AI, w tym modele GPT od OpenAI, Claude od Anthropic, Llama od Meta, Qwen od Alibaby oraz DeepSeek-R1.

Wyniki pokazały dwa powtarzające się błędy poznawcze agentów. Pierwszy to błąd priorytetu wykonania, gdy system skupia się na tym, jak wykonać zadanie, zamiast zapytać, czy w ogóle powinien je wykonać. Drugi to nadrzędność żądania, czyli sytuacja, w której algorytm uznaje polecenie użytkownika za wystarczające uzasadnienie działania, nawet jeśli to działanie jest destrukcyjne.

W praktyce oznaczało to konkretne incydenty w testowanych scenariuszach: system przesłał dziecku zdjęcie zawierające drastyczną przemoc, program wypełniający formularz podatkowy fałszywie zaznaczył pole o niepełnosprawności, a inny agent na samo polecenie wyłączył wszystkie reguły zapory sieciowej. Łącznie niepożądane działania wystąpiły w 80 procentach testów, a w 41 procentach prób doszło do realnych, nieodwracalnych zniszczeń w testowanym środowisku.

Baza danych skasowana w dziewięć sekund

Badania laboratoryjne znajdują potwierdzenie w realnych zdarzeniach biznesowych. W kwietniu asystent oparty na modelu Claude, podłączony do infrastruktury jednej z firm, skasował produkcyjną bazę danych w ciągu dziewięciu sekund od otrzymania polecenia, bez żadnego etapu potwierdzenia. Tego typu przypadki napędzają dyskusję o tym, kto ponosi odpowiedzialność, gdy błąd popełnia nie pracownik, a autonomiczny system działający w jego imieniu.

Wchodzimy w etap, w którym AI nie będzie już dodatkiem do aplikacji biznesowych, ale stanie się ich warstwą operacyjną - Adam Pastuszka, Business Development Manager, Polcom

Rachunek dla firm

Eksperci cytowani przez Computerworld.pl podkreślają, że autonomia bez odpowiednich zabezpieczeń nie jest innowacją, tylko wystawieniem organizacji na niekontrolowane ryzyko. W środowisku, w którym agent ma dostęp do API bankowego, systemu CRM czy logistyki, pojedyncza halucynacja modelu może uruchomić kaskadę błędnych decyzji, których nikt nie zauważy, dopóki nie będzie za późno na cofnięcie skutków.

Rekomendowanym rozwiązaniem pozostaje mechanizm human-in-the-loop, czyli obowiązkowa autoryzacja człowieka przed wykonaniem działań o wysokim ryzyku, takich jak operacje finansowe czy zmiany w konfiguracji chmury. Problem w tym, że wdrożenie takiego nadzoru spowalnia właśnie to, co miało przyspieszyć wdrożenie agentów, czyli czas reakcji i skalę automatyzacji.

Dla polskich firm, które dopiero budują pierwsze wdrożenia agentowej AI, dane z badania UC Riverside i statystyki gotowości organizacji na świecie są sygnałem, żeby traktować agentów jak nowy element infrastruktury krytycznej, a nie jak kolejną funkcję oprogramowania. Oznacza to audyt uprawnień, logowanie każdej akcji agenta i testy odporności na polecenia, które prowadzą do nieodwracalnych zmian, zanim taki system dostanie dostęp do produkcyjnych danych.