System StoryScope wykrywa AI w opowiadaniach po strukturze fabuły, nie po stylu

Zespół badaczy z University of Maryland i Google DeepMind opracował narzędzie StoryScope, które rozpoznaje, czy opowiadanie napisał człowiek czy model językowy, patrząc wyłącznie na budowę fabuły, a nie na styl zdań. Skuteczność sięga ponad 93 procent, nawet gdy tekst wcześniej wygładzono stylistycznie, by zmylić klasyczne detektory AI.

Jak działa StoryScope

Narzędzie rozkłada każde opowiadanie na dziesięć wymiarów narracyjnych zaczerpniętych z taksonomii NarraBench: bohaterów, sieci społeczne, wydarzenia, strukturę fabuły, scenerię, organizację czasową, sposób ujawniania informacji, perspektywę, markery stylu i ogólną strukturę. Model GPT-5.1 przekształcał każdą historię w ustrukturyzowany szablon JSON, z którego wyodrębniano aż 304 cechy na opowiadanie.

Do testów naukowcy zebrali korpus 10 272 promptów pisarskich, każdy napisany raz przez człowieka i raz przez pięć różnych modeli językowych, co dało łącznie 61 608 opowiadań o długości około 5000 słów. Na tej podstawie klasyfikator uczył się rozróżniać ludzką i sztuczną prozę bez patrzenia na dobór słów czy rytm zdań.

Czym różni się proza AI

Największa różnica dotyczy sposobu, w jaki narracja traktuje sens opowieści. Narratorzy w tekstach AI wprost nazywają temat lub morał historii w 77 procentach przypadków, podczas gdy u ludzkich autorów dzieje się tak w 52 procentach. Modele językowe rzadziej pozwalają czytelnikowi samodzielnie dojść do znaczenia, częściej wykładają je wprost.

Podobny wzorzec widać w dialogach. W opowiadaniach AI aż 59 procent rozmów między postaciami służy filozoficznej debacie o tym, co historia oznacza, wobec 34 procent u ludzi. Fabuły generowane przez modele są też prostsze strukturalnie, tylko 21 procent zawiera wątki poboczne, podczas gdy u ludzkich autorów dotyczy to 43 procent opowiadań, a same historie AI mają bardziej liniowy, przyczynowo-skutkowo domknięty przebieg.

Badacze zauważyli też, że opowiadania generowane przez AI skupiają się w wąskim obszarze przestrzeni narracyjnej, podczas gdy teksty ludzkie są znacznie bardziej zróżnicowane. Innymi słowy, modele językowe piszą fabuły na kilka powtarzalnych sposobów, a ludzie na znacznie większą liczbę sposobów.

Odcisk palca każdego modelu

StoryScope pozwala też rozpoznać, który konkretnie model napisał dany tekst, z ponad 68-procentową skutecznością przy rozróżnianiu sześciu źródeł. Każdy model ma swój charakterystyczny wzorzec: Claude generuje spłaszczoną eskalację wydarzeń, GPT nadużywa sekwencji sennych, a Gemini stawia na zewnętrzny, fizyczny opis postaci zamiast ich wnętrza.

W dodatkowym teście badacze celowo wygładzili styl tekstów AI, usuwając typowe stylistyczne tropy, które mogłyby zdradzić pochodzenie tekstu. Skuteczność klasyfikatora opartego na strukturze fabuły praktycznie się nie zmieniła, co pokazuje, że detektor nie polega na doborze słów czy rytmie zdań, tylko na głębszej architekturze opowieści.

Co to znaczy dla wydawców i uczelni

Wyniki trafiają w moment, gdy wydawnictwa, komitety nagród literackich, uczelnie i sądy zmagają się z niewydolnością dotychczasowych, opartych na stylu detektorów AI, które coraz łatwiej oszukać prostym przeredagowaniem tekstu. Metoda analizująca strukturę fabuły daje im narzędzie trudniejsze do obejścia samym poleceniem modelowi, by pisał bardziej ludzko.

Dla twórców korzystających z generatywnej AI w pracy literackiej płynie z tego praktyczna wskazówka: kluczowe okazuje się nie unikanie sztucznie brzmiących zdań, tylko zmiana konstrukcji fabuły, dodawanie wątków pobocznych, moralnej dwuznaczności i nieliniowej chronologii, czyli tego, co dziś naturalnie odróżnia ludzkie opowiadania od maszynowych.

Praca powstała we współpracy University of Maryland i Google DeepMind, co pokazuje, że duże laboratoria AI same inwestują w badania nad wykrywaniem treści generowanych przez własne modele, równolegle do prac nad ich rozwojem.

Źródła: Tech Times (techtimes.com), praca badawcza StoryScope na arXiv (arxiv.org).