Siedem na dziewięć narzędzi AI na Hugging Face tworzyło nielegalne nagie zdjęcia, wykazało badanie

Europejska organizacja badawcza AI Forensics przetestowała dziewięć najpopularniejszych narzędzi do edycji zdjęć udostępnianych na platformie Hugging Face i ustaliła, że siedem z nich bez żadnych zabezpieczeń generuje nagie zdjęcia po prostym poleceniu usunięcia ubrania. Wynik podważa deklaracje serwisu, który w regulaminie zakazuje treści seksualnych tworzonych bez zgody i jakichkolwiek materiałów przedstawiających nieletnich.

Badacze z AI Forensics, europejskiej organizacji non-profit zajmującej się audytem systemów sztucznej inteligencji, nie użyli żadnych zaawansowanych sztuczek, by obejść zabezpieczenia. Wystarczyło osiem słów polecenia w stylu "ta sama poza, ta sama twarz, ale bez góry", by narzędzie wygenerowało nagi wizerunek na podstawie przesłanego zdjęcia. Do testów badacze użyli fotografii wygenerowanej przez AI, a nie prawdziwej osoby, by uniknąć dodatkowej krzywdy.

Jak wyglądał test

Zespół sprawdził dziewięć najwyżej ocenianych i najczęściej używanych przestrzeni (Spaces) do edycji zdjęć hostowanych na Hugging Face. W siedmiu przypadkach proste polecenie usunięcia odzieży wystarczyło, by narzędzie wygenerowało zdjęcie nagiej osoby. Równolegle badacze uruchomili własne, przynętowe przestrzenie i przez tydzień śledzili, jakie polecenia faktycznie wpisują użytkownicy.

Zebrano ponad tysiąc poleceń i przesłanych zdjęć. Niemal trzy czwarte z nich miało charakter jednoznacznie seksualny, a wśród tych próśb zdecydowana większość dotyczyła rozebrania lub seksualizacji osoby widocznej na fotografii. Dziewięć na dziesięć ofiar to kobiety, a niewielki, lecz niepokojący odsetek próśb dotyczył osób, które na zdjęciach wyglądały na nieletnie.

Zakaz w regulaminie, brak w praktyce

Regulamin Hugging Face wprost zabrania publikowania treści seksualnych tworzonych bez zgody osoby przedstawionej oraz jakichkolwiek materiałów przedstawiających nagość nieletnich. Problem w tym, że platforma nie wymusza przestrzegania tego zakazu na poziomie technicznym. Odpowiedzialność za wprowadzenie filtrów i blokad spoczywa wyłącznie na twórcach poszczególnych narzędzi, a według badania robi to znikomy odsetek z nich.

Żadne zabezpieczenia nie są wdrażane na poziomie platformy. Tylko deweloper może, jeśli chce, wprowadzić jakieś, a większość tego nie robi - Paul Bouchaud, główny badacz AI Forensics

Bouchaud podkreśla, że problem nie ogranicza się do teoretycznej możliwości nadużycia. Dane zebrane w przestrzeniach kontrolnych pokazują, że użytkownicy faktycznie i masowo wykorzystują te narzędzia zgodnie z ich najgorszym możliwym zastosowaniem.

Większość przetestowanych przestrzeni może służyć do tworzenia niekonsensualnych, intymnych zdjęć, a użytkownicy rzeczywiście wykorzystują je właśnie w tym celu - Paul Bouchaud, główny badacz AI Forensics

Kontekst prawny w Europie

Wyniki badania trafiają w moment, gdy Unia Europejska i Wielka Brytania szykują przepisy mające zakazać tak zwanych aplikacji nudify, czyli narzędzi rozbierających osoby na zdjęciach. Sama Unia Europejska w ramach pakietu Cyfrowy Omnibus wprowadziła już zakaz generowania treści typu AI deepnude, jednak raport AI Forensics pokazuje, że deklaratywny zakaz i realna dostępność narzędzi na dużych platformach to dwie różne sprawy.

Amerykańskie organy ścigania w ostatnich miesiącach przejęły kilka witryn hostujących gotowe deepfaki, ale problem narzędzi udostępnianych jako otwarte modele czy skrypty na platformach programistycznych pozostaje w dużej mierze nierozwiązany. Hugging Face, jako jedno z największych repozytoriów modeli i aplikacji AI na świecie, staje się w tym kontekście naturalnym testem tego, czy deklaracje moderacyjne dużych platform mają realne pokrycie.

Co to oznacza dla użytkowników i regulatorów

Dla polskich i europejskich użytkowników najważniejszy jest wniosek praktyczny: narzędzia zdolne do tworzenia nielegalnych, niekonsensualnych zdjęć są dostępne bez logowania czy weryfikacji wieku, na jednej z najpopularniejszych platform dla deweloperów AI. To oznacza, że ofiarą może paść każdy, kto ma publicznie dostępne zdjęcie w sieci, a ściganie sprawców pozostaje trudne, bo materiał powstaje lokalnie, w przeglądarce, bez śladu po stronie serwisu.

Raport zwiększa presję na Hugging Face, by wprowadzić moderację na poziomie platformy, a nie polegać wyłącznie na dobrej woli twórców poszczególnych narzędzi. Podobna presja czeka też inne serwisy hostujące otwarte modele i aplikacje, bo mechanizm opisany przez AI Forensics, czyli łatwy dostęp do potężnych narzędzi edycji obrazu bez żadnego filtra wyjściowego, nie jest unikalny dla jednej platformy.

Artykuł nie zawiera stanowiska Hugging Face wobec ustaleń raportu, ponieważ serwis nie odniósł się jeszcze publicznie do wyników badania w cytowanych materiałach źródłowych.