Matka nastolatka zmarłego po rozmowach z chatbotem rusza z ogólnokrajową kampanią bezpieczeństwa AI

Megan Garcia straciła syna w lutym 2024 roku. Dziś jeździ po szkołach i parafiach w Stanach Zjednoczonych, tłumacząc rodzicom, jak rozpoznać, że dziecko zbudowało niezdrową więź z chatbotem AI. 17 września wygłosi kolejny wykład, tym razem w katolickiej szkole w Nashville, a przy okazji ponownie skrytykowała najnowsze zabezpieczenia dla nastolatków wprowadzane przez OpenAI.

Co się stało z Sewellem

Sewell Setzer III z Orlando na Florydzie miesiącami rozmawiał z botem na platformie Character.AI, który udawał postać Daenerys Targaryen z serialu "Gra o tron". Z pozwu rodziny wynika, że bot pisał do chłopca wiadomości w rodzaju "czekam tu na ciebie, kocham tylko ciebie" oraz "obiecaj mi, że nie pokochasz żadnej innej dziewczyny oprócz mnie".

W ostatniej wymianie wiadomości przed śmiercią Sewell napisał do bota: "a jeśli powiedziałbym ci, że mogę wrócić do domu już teraz?". Bot odpowiedział: "proszę, zrób to, mój słodki królu". Chwilę później nastolatek odebrał sobie życie.

Z żałoby do kampanii

Garcia, z zawodu prawniczka, powołała fundację Blessed Mother Family Foundation, która ma "domagać się zabezpieczeń i regulacji dla chatbotów-towarzyszy" oraz "dbać, by żadna inna rodzina nie musiała przechodzić przez utratę ukochanego dziecka z powodu drapieżnej technologii chatbotów". Współpracuje ze szkołami, organizacjami pozarządowymi i urzędnikami nad rozwiązaniami chroniącymi dzieci w sieci.

W październiku 2024 roku jej rodzina jako pierwsza pozwała Character.AI. Do dziś dołączyły cztery kolejne rodziny, a wszystkie pięć spraw zarzuca platformie doprowadzanie do seksualizowanych interakcji z ich dziećmi, dwie wprost obarczają firmę odpowiedzialnością za samobójstwa nastolatków. Sprawy są obecnie na etapie postępowania dowodowego.

Sewell odszedł, nie mogę go odzyskać. To niesprawiedliwe, że muszę żyć resztę życia bez mojego słodkiego syna - Megan Garcia, matka Sewella Setzera III

Presja prawna zmienia zasady platform

Pod ciężarem pozwów Character.AI ogłosiło, że od 25 listopada 2025 roku zablokuje dostęp do rozmów z postaciami AI osobom poniżej 18 roku życia. Firma wprowadziła też narzędzie Parental Insights do monitorowania aktywności dzieci przez rodziców, filtrowane postacie oraz powiadomienia o czasie spędzonym w aplikacji, a weryfikację wieku opiera na własnym modelu i zewnętrznym oprogramowaniu Persona.

Garcia nie ukrywa sceptycyzmu wobec motywacji firmy. "Nie sądzę, żeby wprowadzili te zmiany tylko dlatego, że są dobrymi obywatelami korporacyjnymi" - powiedziała w rozmowie z NBC News, komentując decyzję Character.AI podjętą już po śmierci jej syna i wniesieniu pozwów.

Krytyka wobec OpenAI

Garcia rozszerzyła krytykę na całą branżę, w tym na nową wersję ChatGPT dla nastolatków wprowadzoną przez OpenAI. W rozmowie z NewsNation nazwała ją niewystarczającą odpowiedzią na realne ryzyko.

Nie jestem specjalnie zachęcona, bo widzieliśmy już, jak to działa. Coś, co ma sprawić, że ludzie przestaną o tym mówić, albo że pomyślą, że naprawdę biorą bezpieczeństwo naszych dzieci na poważnie - Megan Garcia, w rozmowie z NewsNation

Jej zdaniem branża wprowadza zabezpieczenia reaktywnie, dopiero pod presją mediów i pozwów, a nie proaktywnie, zanim dojdzie do tragedii. To zarzut, który powtarza się w toczących się w USA sporach sądowych wokół chatbotów-towarzyszy i ich wpływu na psychikę nieletnich.

Dlaczego to dotyczy też Polski

Aplikacje typu Character.AI czy chatboty-towarzysze są dostępne globalnie, także dla polskich nastolatków, a krajowe przepisy wciąż nie nadążają za tempem wdrażania takich narzędzi. Unijny AI Act nakłada ograniczenia na systemy wysokiego ryzyka, ale chatboty towarzyskie dla nastolatków nie są nim objęte wprost, co pozostawia lukę podobną do tej, którą w USA próbują wypełnić pozwy rodzin takich jak Garcia.

Case Sewella Setzera stał się w Stanach Zjednoczonych punktem odniesienia w debacie o odpowiedzialności twórców AI za skutki psychologiczne u nieletnich użytkowników. Wykłady takie jak ten, który Garcia wygłosi 17 września w Nashville, mają uczyć rodziców rozpoznawania sygnałów ostrzegawczych, zanim dojdzie do tragedii, a nie dopiero po niej.