Amazon stracił 1,8 mln dolarów na prostym zadaniu zleconym Claude

Wewnętrzne spotkanie w Amazonie miało być rutynowym przeglądem wydatków na sztuczną inteligencję. Zamiast tego ujawniło, że jeden z projektów wykorzystujących model Claude Sonnet od Anthropic pochłonął 1,8 miliona dolarów przy zadaniu, które miało kosztować ułamek tej kwoty. Firma dowiedziała się o tym dopiero pięć miesięcy po tym, jak wydatki zaczęły wymykać się spod kontroli.

Projekt, o którym mowa, miał rozwiązać stosunkowo prozaiczny problem: dopasowanie rekordów autorów do odpowiadających im ofert produktowych w sklepie internetowym Amazona. To zadanie, które w tradycyjnym modelu programistycznym kosztowałoby niewielkie pieniądze, nawet jeśli kod zawierałby błędy. Przy modelu językowym rozliczanym za token każda nieefektywna pętla czy źle zaprojektowany proces zamienia się w realny rachunek.

Jak doszło do przekroczenia budżetu

Według ustaleń Financial Times, na które powołuje się Tom's Hardware, przy stawkach wejściowych Claude Sonnet kwota 1,8 miliona dolarów odpowiada mniej więcej 600 miliardom przetworzonych tokenów. Tak ogromne zużycie wskazuje na poważny błąd konstrukcyjny w samym procesie: albo nieskończoną pętlę, albo wielokrotne powtarzanie tych samych zapytań bez mechanizmu kontrolnego, który zatrzymałby proces po przekroczeniu rozsądnego limitu.

Co istotne, projekt ostatecznie nigdy nie trafił do produkcji. Miesiące pracy i miliony dolarów wydanych na tokeny nie przełożyły się na żadne wdrożone rozwiązanie. Dla porównania, kwartalne przychody Amazona sięgają około 180 miliardów dolarów, więc sama strata nie zagraża finansom firmy, ale pokazuje wzorzec, który zaczyna niepokoić dział kontrolingu.

Nie jedyny taki przypadek

Autorska pomyłka z Claude Sonnet nie była odosobniona. W tej samej wewnętrznej prezentacji Amazon ujawnił dwa kolejne przypadki przekroczenia budżetu związane z projektami AI. Narzędzie do audytu finansowego wygenerowało dodatkowe koszty rzędu 541 tysięcy dolarów, a system mający przyspieszyć procesy logistyczne przekroczył plan o 134 tysiące dolarów - w tym przypadku błąd wykryto znacznie szybciej, bo po dwóch tygodniach.

Bardzo trudno jest zrozumieć, ile właściwie kosztuje cokolwiek związanego ze sztuczną inteligencją - nienazwany starszy pracownik Amazona

Rzecznik Amazona, pytany o sprawę, ograniczył się do ogólnikowego stwierdzenia, że przypadki te dotyczyły tylko kilku zespołów spośród setek tysięcy pracowników firmy.

Podobnie jak w przypadku każdej nowej technologii, eksperymentujemy, uczymy się i poprawiamy sposób, w jaki jej używamy - rzecznik Amazona

Ranking, który wymknął się spod kontroli

Sprawa ujawniła też ciekawy szczegół z kultury organizacyjnej Amazona. Firma prowadziła wewnętrzny ranking pracowników według wolumenu wykorzystania narzędzi AI, traktowany trochę jak licznik kroków w aplikacji fitness. Problem w tym, że część zespołów zaczęła sztucznie zawyżać zużycie tokenów, by wypaść lepiej w zestawieniu, co jeszcze bardziej podbijało rachunki. Amazon wycofał się z tej praktyki, gdy koszty zaczęły wymykać się spod kontroli.

To nie pierwszy głośny przypadek kosztownego niedopatrzenia przy korzystaniu z modeli Anthropic w dużej organizacji. Wcześniej ujawniono sprawę nienazwanej firmy, która w ciągu jednego miesiąca wydała na Claude aż 500 milionów dolarów, bo nie ustawiła żadnego limitu zużycia dla licencji pracowniczych. W obu przypadkach wspólnym mianownikiem jest brak mechanizmów nadzoru nad kosztami, a nie sama jakość modelu.

Co to znaczy dla firm wdrażających AI

Historia Amazona trafia w moment, gdy coraz więcej organizacji na świecie, w tym w Polsce, zmaga się z rosnącymi rachunkami za tokeny AI mimo spadających cen jednostkowych za pojedynczy token. Powodem jest gwałtowny wzrost zużycia, napędzany zwłaszcza przez systemy agentowe, które wykonują wielokrotnie więcej zapytań niż pojedynczy użytkownik piszący w czacie. Eksperci radzą firmom wprowadzanie twardych limitów tokenów na pracownika lub projekt, routing prostych zapytań do tańszych modeli oraz bieżący monitoring zużycia zamiast rozliczeń miesiąc po fakcie.

Dla działów IT i finansowych sprawa Amazona jest praktyczną lekcją: przy modelach rozliczanych za token, drobny błąd w pętli czy brak mechanizmu stopu może kosztować tyle, co spory zespół programistów przez rok. Governance kosztów AI, wcześniej traktowany jako biurokratyczny dodatek, staje się elementem równie istotnym jak sam wybór modelu.