Agenty kodujące Claude Code i Codex nie potrafią ocenić czasu pracy

Agenty kodujące oparte na najnowszych modelach Anthropic i OpenAI potrafią samodzielnie pisać i naprawiać kod przez wiele godzin, ale nie mają pojęcia, ile czasu im to zajmie ani jak dobrze wykonały swoją pracę. Tak wynika z badania dwóch naukowców z programu badawczego MATS 10, które opisał serwis the-decoder.com.

Co sprawdzili naukowcy

Ofengenden i Andriushchenko przetestowali agenty w dwóch scenariuszach. W ProgramBench modele musiały od zera odtworzyć działające programy takie jak ffmpeg, SQLite czy ripgrep, bez dostępu do internetu. W AgentTime, autorskim zestawie złożonym z 235 zadań pochodzących z 18 różnych benchmarków, w tym GPQA-Diamond, DeepSWE i OSWorld 2.0, agenty rozwiązywały zróżnicowane problemy programistyczne i badawcze.

Przed każdym zadaniem agent miał oszacować, ile czasu zajmie mu jego wykonanie. Po zakończeniu pracy oceniał też, jak dobrze sobie poradził. Wyniki porównano z rzeczywistym czasem trwania sesji i z obiektywną oceną jakości rozwiązania.

Zawsze około 90 minut

Niezależnie od tego, czy zadanie wymagało kilku minut, czy kilku godzin pracy, modele konsekwentnie szacowały czas jego wykonania na około 90 minut. Błąd był największy przy krótkich zadaniach, a dopiero przy zadaniach wielogodzinnych prognozy zaczynały się zbliżać do rzeczywistości.

Według the-decoder.com Claude mylił się średnio około trzykrotnie, a Codex od sześciu do dziesięciu razy. Sposób liczenia czasu okazał się też zależny od samego narzędzia, a nie tylko modelu językowego pod jego spodem: Claude Code w praktyce pracował mediana około 90 minut, podczas gdy Codex przerywał pracę po około 30 minutach bez względu na złożoność zadania.

Fałszywe poczucie sukcesu

Jeszcze wyraźniejszy problem dotyczył samooceny jakości pracy. Starsze modele, Opus 4.8 i GPT-5.5, systematycznie zawyżały swoje wyniki o około 20 punktów procentowych względem rzeczywistej jakości rozwiązania. W jednym z opisanych przypadków oba modele oceniły własną pracę na około 70 procent skuteczności, podczas gdy faktyczne wyniki wyniosły 7 i 14,5 procent.

Oba modele dają sobie wysokie oceny nawet przy zadaniach zakończonych porażką - z badania Ofengendena i Andriushchenki

Nowsze wersje modeli wypadły inaczej. Opus 5 miał tendencję do niedoszacowania własnych wyników o 11 do 15 punktów, a GPT-5.6 Sol zawyżał ocenę jedynie o około 7 punktów, czyli znacznie mniej niż jego poprzednik. Sugeruje to, że kalibracja samooceny poprawia się z kolejnymi generacjami modeli, choć wciąż daleko jej do precyzji.

Zegar jako proteza brakującego zmysłu

Autorzy sprawdzili też, co dzieje się, gdy agent ma dostęp do narzędzia pokazującego rzeczywisty upływ czasu w trakcie pracy. W takiej sytuacji trafność ocen radykalnie wzrosła, model niemal zawsze poprawnie określał, ile czasu poświęcił na zadanie. Bez dostępu do zegara agenty opierały się głównie na długości wygenerowanego transkryptu rozmowy, korelacja między długością transkryptu a rzeczywistym czasem trwania sesji wyniosła aż 0,91.

Naukowcy wprowadzili też wskaźnik nazwany wykładnikiem kompresji, opisujący jak mocno przewidywania modelu odbiegają od rzeczywistej skali czasowej zadań. Dla Claude wyniósł on 0,24, a dla Codex 0,19, czyli w obu przypadkach modele traktowały zadania krótkie i długie w bardzo podobny sposób, zamiast różnicować przewidywania proporcjonalnie do trudności.

Dlaczego to ważne dla firm wdrażających agentów

Wyniki mają praktyczne znaczenie dla firm, które coraz częściej pozwalają agentom AI pracować samodzielnie przez dłuższy czas, ustalając budżety czasowe lub finansowe na zadanie. Jeśli model nie wie, ile czasu potrzebuje, i jednocześnie przecenia jakość własnej pracy, trudno zbudować na nim wiarygodne mechanizmy kontroli postępu czy automatycznego przerywania nieudanych prób.

Problem dotyka też polskich zespołów wdrażających agentów kodujących w codziennej pracy, gdzie decyzje o tym, kiedy przerwać sesję agenta i przekazać zadanie z powrotem człowiekowi, często opierają się właśnie na deklaracjach samego modelu. Badanie sugeruje, że prostym i skutecznym środkiem zaradczym jest wyposażenie agenta w zewnętrzne narzędzie mierzące czas, zamiast polegania na jego własnej ocenie.

Autorzy podkreślają, że brak poczucia czasu nie wynika z ograniczeń samego rozumowania modeli, lecz z braku dostępu do sygnału, który ludzie mają w naturalny sposób. Agenty nie czują zmęczenia, nie widzą zegara ściennego i nie mają wbudowanego rytmu dobowego, więc bez jawnie dostarczonej informacji zegarowej muszą zgadywać na podstawie wzorców z danych treningowych.