Badanie Anthropic: korzystanie z AI przy nauce programowania obniża wyniki testów o 17 punktów procentowych

Anthropic opublikowało wyniki kontrolowanego eksperymentu, który podważają popularne przekonanie, że asystenci AI przyspieszają naukę programowania bez żadnych kosztów. Programiści, którzy przy poznawaniu nowej biblioteki Pythona korzystali z asystenta AI, uzyskali w końcowym teście wiedzy wyraźnie gorsze wyniki niż osoby kodujące samodzielnie - a przy tym wcale nie skończyli zadania istotnie szybciej.

Co sprawdzało badanie

Eksperyment miał trzy części: rozgrzewkę, główne zadanie programistyczne polegające na implementacji dwóch funkcji w bibliotece Trio wymagającej znajomości programowania asynchronicznego, oraz końcowy quiz. Uczestnicy dostali opisy problemów, kod startowy i wyjaśnienia pojęć, a część z nich miała do dyspozycji panel boczny z asystentem AI, który na żądanie generował gotowy, poprawny kod.

Quiz sprawdzał cztery rodzaje umiejętności, wzorowane na badaniach z zakresu dydaktyki informatyki: debugowanie, czytanie kodu, pisanie kodu oraz rozumienie pojęć. Trzy pierwsze kategorie potraktowano priorytetowo, bo to one decydują o zdolności programisty do nadzorowania i weryfikowania kodu wygenerowanego przez AI.

Debugowanie ucierpiało najbardziej

Autorzy badania wskazują, że korzystanie z AI osłabiło rozumienie pojęć, czytanie kodu i zdolność debugowania, nie dając przy tym istotnych zysków w tempie pracy. Największa luka pojawiła się właśnie w debugowaniu - czyli w umiejętności rozpoznania, że kod jest błędny, i ustalenia dlaczego. To o tyle istotne, że zdolność wychwytywania błędów jest dokładnie tym, czego potrzeba, by bezpiecznie nadzorować pracę asystentów AI.

Część uczestników spędzała na interakcji z asystentem nawet 11 minut, czyli 30 procent całego czasu zadania, formułując do 15 zapytań. Sam fakt intensywnego korzystania z AI nie przekładał się jednak wprost na gorszy wynik - liczył się sposób, w jaki z niego korzystano.

Sześć sposobów korzystania z asystenta

Badacze wyodrębnili sześć odrębnych wzorców interakcji z AI i podzielili je na dwie grupy. Trzy wzorce wiązały się ze średnim wynikiem poniżej 40 procent: pełne delegowanie generowania kodu do AI, stopniowe zwiększanie zależności od AI w trakcie zadania oraz iteracyjne debugowanie polegające na proszeniu AI o poprawki zamiast samodzielnego rozumienia błędu.

Trzy pozostałe wzorce dawały wyniki na poziomie co najmniej 65 procent, zbliżone do grupy kodującej ręcznie. Były to: generowanie kodu z późniejszymi pytaniami sprawdzającymi zrozumienie, łączenie prośby o kod z prośbą o wyjaśnienie oraz zadawanie wyłącznie pytań koncepcyjnych przy samodzielnym rozwiązywaniu błędów - ta ostatnia grupa była też drugą najszybszą spośród wszystkich uczestników.

Uczestnicy, którzy wykazali się większym opanowaniem materiału, korzystali z pomocy AI nie tylko po to, by wytworzyć kod, ale by budować przy tym rozumienie - czy to zadając pytania uzupełniające, prosząc o wyjaśnienia, czy formułując pytania koncepcyjne podczas samodzielnego kodowania - Anthropic, badanie AI-assistance-coding-skills

Co to znaczy dla firm i junior developerów

Anthropic zwraca uwagę, że jego wcześniejsze badania pokazywały przyspieszenie pracy nawet o 80 procent przy zadaniach, w których uczestnicy już posiadali potrzebne umiejętności. Problem pojawia się dopiero na etapie nabywania nowych kompetencji - dokładnie tam, gdzie AI wydaje się najbardziej kuszącym skrótem, a jednocześnie gdzie najbardziej szkodzi budowaniu trwałej wiedzy.

Autorzy podkreślają, że zyski z produktywności mogą podważać rozwój umiejętności potrzebnych do weryfikowania kodu wygenerowanego przez AI - a to właśnie młodsi inżynierowie, pod presją organizacyjną nastawioną na szybkość, są najbardziej narażeni na pomijanie etapu rozumienia. W badaniu wysiłek poznawczy, w tym samo zmaganie się z problemem, okazał się istotnym elementem budowania kompetencji.

Dla polskich firm wdrażających Claude Code, Copilota czy Cursora do zespołów juniorskich wnioski są konkretne: sposób, w jaki narzędzie jest używane, ma większe znaczenie niż sam fakt jego udostępnienia. Anthropic sugeruje, że firmy powinny świadomie projektować proces pracy z AI tak, by wymuszał pytania koncepcyjne i wyjaśnienia, a nie tylko generowanie gotowych rozwiązań.

Badanie objęło stosunkowo niewielką grupę 52 osób i jedno konkretne zadanie z biblioteką Trio, więc autorzy nie twierdzą, że wyniki da się mechanicznie przenieść na każdy język czy poziom doświadczenia. Traktują je raczej jako sygnał, że pomiar samej szybkości wykonania zadania to za mało, by ocenić, czy AI faktycznie pomaga zespołowi programistycznemu rozwijać się w dłuższej perspektywie.