Google DeepMind i singapurski GovTech pokazują model wykrywający oszustwa bezpośrednio na telefonie

Google DeepMind i Government Technology Agency (GovTech) z Singapuru zaprezentowały model, który analizuje rozmowy na telefonie i ostrzega użytkownika, gdy wykryje manipulację typową dla oszustów. Całość działa lokalnie, więc wiadomości nie muszą trafiać do chmury.

Co zapowiedziano

Projekt powstał w ramach partnerstwa Google DeepMind z rządem Singapuru w obszarze AI. Model ma działać na typowych smartfonach używanych w Singapurze i analizować wymianę wiadomości na bieżąco. Gdy wykryje wzorce manipulacji, wyświetla na urządzeniu ostrzeżenie, które ma skłonić użytkownika do zatrzymania się, zanim poda wrażliwe dane lub przekaże pieniądze.

Autorzy wpisu na blogu DeepMind wskazują, że klasyczne skanowanie po stronie serwera nie sprawdza się w komunikatorach z szyfrowaniem end-to-end, bo platformy nie mogą wglądać w prywatne rozmowy. Analiza na telefonie omija ten problem.

Walka z oszustwami nie powinna oznaczać poświęcania prywatności - Mark Chen, dyrektor ds. zaufania i bezpieczeństwa w GovTech Singapore

Jak to działa

Rozwiązanie składa się z dwóch etapów, które mają oszczędzać baterię. Najpierw lekki klasyfikator o niskim zużyciu energii przegląda przychodzące wiadomości. Podejrzane trafiają do dostrojonej Gemmy, która ocenia większy fragment rozmowy i potwierdza oszustwo albo odrzuca fałszywy alarm.

Gemmę dostrojono na lokalnych rozmowach, w tym podszywaniu się pod instytucje publiczne, banki i znane osoby, a także na aktualnych regionalnych schematach oszustw. Według DeepMind klasyczne modele ogólne słabo radzą sobie z lokalnymi technikami zwodzenia, stąd dostrajanie.

Dane i bezpieczeństwo

Dostrajanie odbyło się w zarządzanym i utrzymywanym przez GovTech środowisku Google Cloud Platform, w którym dane treningowe pozostawały odizolowane. Do treningu użyto zanonimizowanych zbiorów z raportów o oszustwach i źródeł wywiadowczych, bez prywatnych i identyfikujących danych osobowych, jak deklaruje wpis.

Model sprawdzano na syntetycznych dialogach i lokalnych korpusach obejmujących różne typy oszustw oraz zmieniające się metody podszywania. Wpis nie podaje jednak żadnych liczb opisujących skuteczność ani odsetka fałszywych alarmów, więc na razie to deklaracja producenta, nie niezależny pomiar.

Czego nie wiadomo

Źródła nie wskazują terminu udostępnienia użytkownikom, konkretnych aplikacji ani urządzeń. DeepMind zaznacza tylko, że komunikatory i producenci systemów mogliby integrować takie lekkie modele, by chronić użytkowników lokalnie. Partnerów nie wymieniono.

Dla polskiego czytelnika to sygnał kierunku: podobne podejście, czyli małe modele na urządzeniu zamiast skanowania w chmurze, może być odpowiedzią na oszustwa w szyfrowanych czatach. Na razie jednak to projekt przygotowany pod Singapur i tamtejsze schematy ataków.