Agenci AI zużywają nawet 136 razy więcej energii niż zwykły czatbot

Zespół z koreańskiego KAIST opublikował pierwszą systemową analizę zużycia energii przez agentów AI i wynik zaskoczył nawet samych autorów. Autonomiczny agent oparty na modelu językowym z 70 miliardami parametrów potrafi zużyć na jedno zapytanie nawet 136,5 razy więcej energii niż zwykły czatbot udzielający jednorazowej odpowiedzi.

Dlaczego agenci są tak drodzy

Różnica między czatbotem a agentem polega na sposobie działania. Czatbot dostaje pytanie, generuje jedną odpowiedź i kończy pracę. Agent typu Reflexion czy LATS działa inaczej - planuje kroki, wywołuje modele językowe wielokrotnie, sięga po narzędzia zewnętrzne, przegląda internet, wykonuje obliczenia i sam ocenia, czy zadanie zostało wykonane poprawnie. Każdy taki cykl to kolejne uruchomienie kosztownego obliczeniowo modelu.

Autorzy badania wskazują, że problem nie leży wyłącznie w liczbie wywołań modelu, ale w architekturze samego procesu. Agent często musi czekać na odpowiedź z internetu, wynik zapytania do bazy danych albo rezultat wykonania kodu. W tym czasie drogi procesor graficzny, który kosztuje dziesiątki tysięcy dolarów, stoi bezczynnie zamiast liczyć - a mimo to pobiera prąd i generuje koszty w centrum danych.

Skąd bierze się liczba 136,5

Warto podkreślić, że 136,5 razy to górna granica szerokiego zakresu wyników, a nie typowa wartość dla każdego agenta. Analiza Forbesa zwraca uwagę, że nagłówek z jedną liczbą bywa mylący - realne zużycie energii mocno zależy od typu zadania, długości sesji i konkretnej architektury agenta. Mimo to nawet dolne wartości z badania pokazują wielokrotnie wyższe zużycie niż w przypadku pojedynczej odpowiedzi czatbota.

Naukowcy z KAIST udostępnili publicznie implementacje agentów i benchmarki użyte w badaniu, co pozwala innym zespołom powtórzyć pomiary i zweryfikować wyniki na własnych systemach. To ważne, bo dotychczasowe szacunki zużycia energii przez AI opierały się głównie na modelach jednorazowej odpowiedzi, a branża coraz szybciej przechodzi na architektury agentowe.

Znaczenie dla centrów danych i rachunków za prąd

Wnioski z badania mają bezpośrednie przełożenie na planowanie infrastruktury. Firmy budujące centra danych pod obciążenia agentowe muszą liczyć się z tym, że sama liczba procesorów graficznych nie wystarczy - kluczowe stanie się zarządzanie czasem oczekiwania i unikanie bezczynności drogiego sprzętu. To temat, który wraca też w kontekście europejskich i polskich planów inwestycji w centra danych AI, gdzie koszty energii są jednym z głównych ograniczeń skali.

Dla firm korzystających z agentów AI w codziennej pracy - od automatyzacji obsługi klienta po agentów kodujących - badanie oznacza też praktyczną wskazówkę biznesową. Zadanie zlecone agentowi, który samodzielnie przeszukuje internet i wykonuje wieloetapowe operacje, może kosztować w przeliczeniu na energię i infrastrukturę wielokrotnie więcej niż proste zapytanie do czatbota, nawet jeśli opłata za token wygląda podobnie.

Agenci pętlą się, planując i wywołując narzędzia, co powoduje, że drogie procesory GPU stoją bezczynne nawet przez 54,5 procent czasu, czekając na odpowiedzi zewnętrzne - zespół badawczy KAIST

Co dalej

Autorzy sugerują, że branża potrzebuje nowych metryk efektywności energetycznej dostosowanych do architektur agentowych, a nie tylko do klasycznego wnioskowania modeli językowych. Otwarte pytanie brzmi, czy dostawcy chmurowi zaczną raportować zużycie energii per zadanie agentowe, a nie tylko per zapytanie do modelu - to mogłoby zmienić sposób, w jaki firmy liczą realny koszt wdrożenia agentów AI.

Źródła: Let's Data Science (letsdatascience.com), TechXplore (techxplore.com), Forbes (forbes.com), Digital Trends (digitaltrends.com), arXiv (arxiv.org)