Agenci kodujący AI skracają prace nad naukowym oprogramowaniem z godzin do minut, pokazuje raport OpenAI

OpenAI opublikowało raport dokumentujący osiem realnych projektów, w których naukowcy użyli agentów kodujących do modernizacji starego, zaniedbanego oprogramowania naukowego, głównie w naukach przyrodniczych. Efekty w kilku przypadkach liczone są nie w procentach, a w rzędach wielkości.

Raport, zatytułowany "Scientific computing in the age of agentic AI", opisuje projekty prowadzone przez zewnętrznych badaczy i inżynierów, którzy używali agentów OpenAI Codex oraz Anthropic Claude Code do pracy nad kodem naukowym. Zakres prac obejmował rutynową konserwację, celową optymalizację wydajności, migracje między językami programowania oraz przeprojektowanie algorytmów pod architekturę GPU.

Od 15 godzin do 15 minut

Najbardziej wymierny przykład to RustQC, projekt firmy Seqera, który połączył 15 osobnych narzędzi kontroli jakości używanych po etapie mapowania odczytów w popularnym pipeline nf-core/rnaseq do analizy RNA-seq w jeden binarny program napisany w Rust. Na zbiorze danych liczącym 186 milionów odczytów oryginalny, sekwencyjny proces trwał 15 godzin i 34 minuty oraz generował 2,5 terabajta operacji dyskowych. Wersja przepisana z pomocą agentów wykonała tę samą pracę w 14 minut i 54 sekundy, zużywając 0,1 terabajta.

Autorzy raportu podkreślają, że wyniki nowego narzędzia są identyczne pod względem formatu i liczb z narzędziami źródłowymi oraz kompatybilne z systemem raportowania MultiQC, więc laboratoria mogą je wdrożyć bez zmiany reszty swoich procesów analitycznych.

Dwa modele, wzajemna kontrola

W trzech z ośmiu opisanych projektów, w tym w największym z nich, naukowcy łączyli Codex z Claude Code w podejściu, które autorzy raportu nazwali "adversarial pairing" - jeden model tworzył kod, drugi go recenzował, a role się zmieniały. Chodziło o to, by wykorzystać fakt, że modele od różnych laboratoriów popełniają różne typy błędów.

Dwa modele z dwóch różnych laboratoriów popełniają różne błędy: kiedy oba oznaczą tę samą linię kodu, niemal zawsze jest to prawdziwy błąd, a kiedy się nie zgadzają, ta rozbieżność wskazuje dokładnie miejsce, w które powinien spojrzeć człowiek - z raportu OpenAI "Scientific computing in the age of agentic AI"

Przy przepisywaniu 20-tysięczno-liniowego aligner-a genomów z C/C++ na Rust agent osiągnął 99,8 procent zgodności wyników z oryginałem stosunkowo szybko, ale dogonienie ostatnich 0,2 procent zajęło więcej czasu iteracji niż pierwsze 90 procent pracy. Powodem były błędy warstwowe, których własne testy agenta nie potrafiły odróżnić od poprawnego działania programu.

Człowiek wciąż musi sprawdzać wyniki

Raport nie jest laurką dla automatyzacji bez nadzoru. Autorzy piszą wprost, że głównym wąskim gardłem pozostaje walidacja wyników pracy agenta, która wciąż wymaga ludzkiego osądu. W opisanych przypadkach agenci sprawnie realizowali konkretne, dobrze zdefiniowane zadania, ale nie potrafili samodzielnie ocenić, czy ich praca jest naukowo poprawna lub spełnia oczekiwania zespołu.

To rozróżnienie jest istotne dla laboratoriów rozważających podobne wdrożenia: agent może przyspieszyć pisanie i przepisywanie kodu o rząd wielkości, ale odpowiedzialność za weryfikację poprawności wyników naukowych zostaje po stronie badaczy. W praktyce oznacza to, że małe zespoły zyskują możliwość podjęcia się prac, które wcześniej wymagałyby zatrudnienia wyspecjalizowanych inżynierów, ale nie zwalnia to nikogo z konieczności przeglądu kodu i testów.

Kontekst rosnącej roli Codexa

Publikacja raportu wpisuje się w szerszy trend rosnącego wykorzystania Codexa wewnątrz samego OpenAI - według wcześniejszych danych firmy udział pracowników korzystających z agentów sięgnął niemal 98 procent, a Codex odpowiada już za większość wykorzystania tokenów przez inżynierów w niemal wszystkich działach. Raport o obliczeniach naukowych pokazuje, że podobny wzorzec - agent jako domyślne narzędzie do konserwacji i migracji kodu - zaczyna przenosić się poza mury samej firmy, do laboratoriów genomicznych i innych ośrodków pracujących z dużymi, rzadko aktualizowanymi bazami kodu.

Dla polskich instytucji naukowych i laboratoriów bioinformatycznych, które często utrzymują starsze, pisane latami skrypty analityczne, raport OpenAI daje konkretny punkt odniesienia: rząd wielkości przyspieszenia możliwy do osiągnięcia przy modernizacji kodu, pod warunkiem zachowania rygorystycznej weryfikacji wyników przez badaczy, a nie tylko przez testy jednostkowe napisane przez tego samego agenta, który pisał kod.