Firmy przepłacają za AI przez złe nawyki pracowników, ostrzega Capgemini Polska

Jedno okno czatu otwarte od rana do wieczora, w którym pracownik kolejno rozlicza faktury, poprawia raport marketingowy i tłumaczy notatkę ze spotkania, wygląda na wygodę. W rzeczywistości to jeden z głównych powodów, dla których rachunki firm za sztuczną inteligencję rosną szybciej, niż wynikałoby to z realnej liczby zadań - ostrzegają eksperci Capgemini Polska.

Puchnący kontekst

Problem, który opisują eksperci Capgemini Polska, nazywa się w branży "puchnącym kontekstem". Każdy model językowy ma ograniczoną pamięć roboczą, czyli okno kontekstu, w którym mieści się cała dotychczasowa rozmowa. Jeśli pracownik rozmawia z botem przez osiem godzin, nie zamykając czatu, to przy każdej kolejnej wiadomości model musi na nowo przetworzyć całą historię konwersacji od samego rana.

To nie jest tylko kwestia szybkości działania. Dostawcy modeli językowych rozliczają użycie w tokenach, czyli cząstkach tekstu, które system musi przeczytać i wygenerować. Im dłuższa historia rozmowy, tym więcej tokenów wejściowych trzeba przetworzyć przy każdym kolejnym pytaniu, nawet jeśli samo pytanie jest krótkie.

Model nie tylko staje się droższy w utrzymaniu, ale z czasem zaczyna działać mniej stabilnie - Hubert Nafalski, Project Manager Insights & Data, Capgemini Polska

Dlaczego odpowiedzi kosztują więcej niż pytania

Drugi mechanizm, na który zwracają uwagę eksperci, dotyczy asymetrii cen. Tokeny wyjściowe, czyli te generowane przez model w odpowiedzi, są w cennikach dostawców wyraźnie droższe od tokenów wejściowych, które użytkownik wpisuje jako pytanie. Oznacza to, że każda niepotrzebnie rozwlekła odpowiedź AI, na przykład pełne przepisanie całego dokumentu zamiast wskazania samej zmienionej linijki, uderza w budżet mocniej niż długie pytanie.

W praktyce sprowadza się to do sytuacji, w której pracownik prosi model o poprawienie jednego akapitu w wielostronicowym raporcie, a system w odpowiedzi generuje cały dokument od nowa, ze wstępem, podsumowaniem i formalnościami, których nikt nie potrzebuje. Taka odpowiedź kosztuje wielokrotnie więcej niż konieczne, a użytkownik i tak musi ręcznie odnaleźć fragment, który faktycznie się zmienił.

Proste nawyki, wymierne oszczędności

Rekomendacje ekspertów Capgemini Polska są w gruncie rzeczy proste. Pierwsza zasada to otwieranie nowego okna czatu do każdego nowego zadania, zamiast prowadzenia jednej ciągłej rozmowy przez cały dzień pracy. Druga to wklejanie do modelu wyłącznie krótkich, potrzebnych fragmentów dokumentów zamiast całych plików. Trzecia to formułowanie próśb w taki sposób, by model zwracał tylko zmienione fragmenty tekstu, bez zbędnych wstępów i podsumowań.

Czwarta zasada dotyczy organizacji pracy w ciągu dnia: warto kończyć jeden typ zadania, na przykład analizę finansową, zanim przejdzie się do zupełnie innego tematu, jak przygotowanie materiału marketingowego, i robić to w osobnym, świeżym oknie czatu. Zamykanie sesji po zakończeniu każdego zadania ogranicza rozrost historii rozmowy, a tym samym liczbę tokenów przetwarzanych przy kolejnych pytaniach.

Skala problemu w firmach

Według Capgemini Polska suma takich pozornie drobnych nawyków, pomnożona przez setki czy tysiące pracowników korzystających z narzędzi AI każdego dnia, potrafi wygenerować w skali całej organizacji koszty liczone w setkach tysięcy złotych rocznie. To pieniądze, które firmy mogłyby zaoszczędzić bez ograniczania samego zakresu wykorzystania sztucznej inteligencji, wyłącznie poprzez zmianę sposobu, w jaki pracownicy prowadzą rozmowy z modelami.

Dla polskich firm, które w ostatnich miesiącach masowo wdrażają narzędzia AI do codziennej pracy, problem ukrytych kosztów tokenów jest tym istotniejszy, że rachunki za subskrypcje i zużycie API rosną wraz ze skalą wdrożenia. Bez wewnętrznych wytycznych co do sposobu korzystania z czatów firmy mogą płacić znacznie więcej, niż wynikałoby to z realnej wartości, jaką AI dostarcza.

Eksperci podkreślają, że problem nie leży w samej technologii, lecz w braku podstawowej edukacji użytkowników. Pracownicy często nie wiedzą, że dłuższa historia rozmowy przekłada się bezpośrednio na wyższy koszt każdej kolejnej wiadomości, ponieważ z ich perspektywy interfejs czatu wygląda identycznie niezależnie od tego, czy rozmowa trwa pięć minut, czy osiem godzin.

Rozwiązaniem, jakie proponuje Capgemini Polska, nie jest ograniczanie dostępu do narzędzi AI, lecz krótkie szkolenie z podstawowej "higieny" korzystania z czatów, tak samo jak firmy uczą pracowników zasad bezpiecznego korzystania z poczty elektronicznej czy systemów wewnętrznych. Zmiana kilku nawyków, bez żadnych dodatkowych inwestycji, może przynieść wymierne oszczędności już w skali jednego kwartału.