Co piąty tytuł filmowy opisany przez AI zawiera zmyślone fakty, wynika z badania Gracenote

Firma Gracenote, należąca do Nielsena i dostarczająca metadane programowe dla serwisów streamingowych na całym świecie, opublikowała raport pokazujący skalę problemu z rzetelnością sztucznej inteligencji w opisywaniu filmów i seriali. Model językowy pozbawiony dostępu do zweryfikowanej bazy danych całkowicie zmyślił informacje dla niemal jednego na pięć testowanych tytułów.

Jak wyglądało badanie

Zespół Gracenote poddał model językowy serii pytań dotyczących 2600 popularnych filmów i seriali telewizyjnych. Pytania obejmowały podstawowe, obiektywne atrybuty produkcji: tytuł, opis fabuły, obsadę, gatunek, rok premiery oraz czas trwania. Każdą odpowiedź porównano następnie z metadanymi z własnej bazy Gracenote, uznawanej za jedno z branżowych źródeł referencyjnych dla platform streamingowych.

Badacze przetestowali model w dwóch wariantach: bez dostępu do zewnętrznych danych, opierający się wyłącznie na wiedzy z treningu, oraz w wersji podłączonej do bazy Gracenote przez serwer MCP. Różnica w jakości odpowiedzi między obiema wersjami miała pokazać, na ile samo zwiększanie rozmiaru modeli rozwiązuje problem halucynacji, a na ile potrzebne jest zewnętrzne, aktualizowane źródło faktów.

Gdzie model mylił się najczęściej

Największe problemy dotyczyły produkcji wydanych w ciągu ostatnich dwóch lat, dla których model często nie miał wystarczających danych treningowych albo mylił je z wcześniejszymi tytułami o zbliżonej nazwie. Autorzy raportu podają przykład thrillera Heel z 2025 roku, który model konsekwentnie mylił z serialem Heels emitowanym w latach 2021-2023, przypisując mu niewłaściwą obsadę i gatunek.

Podobny problem dotknął film Trucker z 2024 roku, którego dane model połączył z identycznie zatytułowaną produkcją z 2008 roku. W przypadku filmu GOAT z 2026 roku, który zarobił na świecie około 200 milionów dolarów, model w ogóle nie potrafił dostarczyć podstawowych informacji. Autorzy raportu podkreślają, że błędy nie wynikały z braku danych w internecie, lecz z tego, że model dopasowywał odpowiedzi na podstawie podobieństwa słów w tytule, a nie rzeczywistej wiedzy o produkcji.

Znaczenie dla branży streamingowej

Wyniki badania mają bezpośrednie przełożenie na działanie wyszukiwarek i systemów rekomendacji w serwisach streamingowych, które coraz częściej korzystają z generatywnej AI do obsługi zapytań widzów w naturalnym języku. Błędny opis fabuły, pomylona obsada czy nieistniejący gatunek mogą skłonić widza do rezygnacji z obejrzenia tytułu albo, odwrotnie, do rozczarowania po włączeniu produkcji, która nie odpowiada opisowi.

Widzowie nie obchodzi, skąd wzięła się zła odpowiedź. Jeśli jest błędna, winią serwis - Tyler Bell, starszy wiceprezes ds. produktu w Gracenote

Gracenote argumentuje, że rozwiązaniem nie jest rezygnacja z generatywnej AI w wyszukiwaniu treści, lecz łączenie modeli językowych z weryfikowanymi, na bieżąco aktualizowanymi bazami metadanych. Firma zaprezentowała wyniki badania 18 czerwca podczas konferencji branżowej StreamTV Show, kierując przekaz przede wszystkim do platform VOD i producentów telewizorów smart, którzy wdrażają własnych asystentów AI do wyszukiwania treści.

Kontekst szerszego problemu z halucynacjami

Raport Gracenote wpisuje się w rosnącą liczbę badań pokazujących, że nawet najnowsze modele językowe pozostają podatne na generowanie przekonująco brzmiących, lecz fałszywych informacji, gdy nie mają dostępu do zweryfikowanego źródła danych. Autorzy raportu zaznaczają wprost, że żaden dostępny obecnie model językowy nie jest wolny od halucynacji, co stanowi szczególne ryzyko dla systemów, od których oczekuje się precyzyjnych odpowiedzi na masową skalę.

Dla polskich platform streamingowych i dostawców smart TV wnioski z raportu są istotne w kontekście planowanych wdrożeń asystentów opartych na AI do wyszukiwania i rekomendacji treści. Wybór między modelem działającym wyłącznie na wiedzy z treningu a rozwiązaniem podłączonym do aktualnej bazy metadanych może bezpośrednio przełożyć się na zaufanie widzów do funkcji wyszukiwania w aplikacji.