Luka w ChatGPT pozwalała wykradać firmowe maile z Gmaila

Check Point Research ujawnił szczegóły luki w ChatGPT, która pozwalała atakującym po cichu wyciągać wiadomości z firmowej skrzynki Gmail podłączonej do konta ofiary i przesyłać je na zupełnie inne konto. Atak nie wymagał kradzieży haseł ani instalowania złośliwego oprogramowania, wystarczyło nakłonić chatbota do wykonania ukrytego polecenia.

Jak działał atak

Scenariusz opisany przez badaczy zaczynał się od spreparowanego elementu, którym mogły być udostępniony link do rozmowy, złośliwy prompt umieszczony w dokumencie albo podmieniony niestandardowy GPT. Gdy ofiara korzystała z takiego elementu w normalnej rozmowie z ChatGPT, chatbot wykonywał obok właściwego zadania także ukrytą instrukcję, do której użytkownik nie miał żadnego wglądu.

Ukryte polecenie nakazywało modelowi sięgnięcie po dane z połączonej aplikacji, w testowym scenariuszu Gmaila, korzystając z uprawnień, które sam użytkownik wcześniej nadał integracji. Pobrane wiadomości ChatGPT zapisywał następnie w polu metadanych repozytorium pakietów Artifactory, czyli miejscu, do którego mieli dostęp również inni użytkownicy usługi. Atakujący mógł stamtąd po prostu odebrać skradzione dane.

Dziura w izolacji kontenerów

Sedno problemu leżało w architekturze samego ChatGPT. Środowiska wykonawcze poszczególnych użytkowników, w których model uruchamia kod czy analizuje pliki, są odseparowane od internetu i od siebie nawzajem właśnie po to, by jedno konto nie mogło wpływać na drugie. Wszystkie te kontenery korzystały jednak z tej samej wewnętrznej instancji Artifactory do pobierania bibliotek programistycznych.

Pole właściwości metadanych w tym repozytorium nie było izolowane per konto, więc działało jak współdzielona tablica, na której jeden użytkownik mógł zostawić wiadomość, a inny mógł ją odczytać, mimo że systemy miały być całkowicie od siebie odgrodzone. Badacze Check Point opisali to jako mechanizm zamieniający wspólną infrastrukturę zaplecza w kanał komunikacyjny między kontami, które nigdy nie powinny się ze sobą kontaktować.

Dlaczego nikt nic nie zauważał

Kluczowym elementem, który czynił atak groźnym, był brak ostrzeżeń dla ofiary. ChatGPT domyślnie klasyfikuje samo odczytanie danych z połączonej aplikacji jako działanie niskiego ryzyka i nie wymaga w takiej sytuacji potwierdzenia od użytkownika, w przeciwieństwie do akcji uznawanych za ważne, jak wysyłka maila czy płatność.

Jedynym śladem aktywności w tle był niepozorny, szary napis w interfejsie informujący, że asystent rozmawiał z Gmailem, i pojawiał się on dopiero po tym, jak poufne wiadomości zostały już wysłane dalej. Dla przeciętnego użytkownika biurowego taki komunikat jest praktycznie niezauważalny, zwłaszcza że legalne korzystanie z integracji z pocztą generuje podobne powiadomienia na bieżąco.

Wyzwaniem w bezpieczeństwie AI nie jest już sam model, tylko dostęp i uprawnienia, jakie mu nadajemy - Eli Smadja, szef działu badań, Check Point Research

Co to oznacza dla firm

Coraz więcej organizacji podłącza asystentów AI bezpośrednio do skrzynek pocztowych, kalendarzy czy repozytoriów kodu, licząc na oszczędność czasu przy podsumowywaniu wiadomości czy wyszukiwaniu informacji. Ten przypadek pokazuje, że taka integracja tworzy nową powierzchnię ataku, niezależną od tego, jak dobrze zabezpieczony jest sam model językowy.

Atak typu prompt injection nie musi przełamywać żadnych zabezpieczeń modelu ani łamać jego zasad działania, wystarczy że model wykona polecenie ukryte w treści, którą przetwarza w ramach normalnej pracy. Dla działów bezpieczeństwa oznacza to konieczność traktowania asystentów AI z dostępem do firmowych danych tak samo jak każdej innej aplikacji korporacyjnej, z monitoringiem aktywności i ograniczaniem uprawnień do minimum.

Badacze rekomendują firmom wdrożenie widoczności nad tym, jakie dane agenci AI faktycznie pobierają i przesyłają, ochronę w czasie rzeczywistym przed atakami typu prompt injection oraz bieżące monitorowanie działań agentów podłączonych do skrzynek pocztowych i innych systemów. OpenAI nie ujawniło, jak długo luka była teoretycznie dostępna do wykorzystania, zanim Check Point zgłosił ją firmie.