Nadella chce „hamulca bezpieczeństwa” dla modeli AI i zakłada, że model jest przejęty

Satya Nadella, prezes Microsoftu, w sobotę 10 października opublikował na platformie X wpis, w którym przekonuje, że czas „cofnąć się o krok i ocenić architekturę zaufania” w sztucznej inteligencji. Jego główna teza brzmi: modelu nie wolno traktować jak czarnej skrzynki, której odpowiedzi i działania po prostu przyjmujemy lub odrzucamy.

Co napisał Nadella

Według relacji TechCrunch Nadella napisał, że „nie możemy traktować superinteligencji jako zestawu zagnieżdżonych czarnych skrzynek i po prostu akceptować lub odrzucać jej rekomendacji, odpowiedzi i działań”. Dodał też, że trzeba „założyć, że model jest przejęty, i ograniczyć go od samego początku”.

Pomyślcie o tym jak o hamulcu bezpieczeństwa. - Satya Nadella, prezes Microsoftu

Dla porównania z obecnymi praktykami istotne jest samo założenie: zamiast ufać modelowi i reagować na błędy, projektuje się system tak, jakby model mógł zawieść lub zostać skompromitowany.

Konkretne propozycje

TechCrunch opisuje kilka elementów planu. Pierwszy to oddzielenie modelu od „harnessu”, czyli warstwy, która orkiestruje jego pracę. Drugi to wyniesienie kontroli i zabezpieczeń poza sam model.

Trzeci element dotyczy dokumentowania. Nadella chce, by każde istotne działanie modelu było zapisane jako „odporny na manipulacje, czytelny dla człowieka dowód”. Czwarty to gwarancja, że upoważniona osoba może zatrzymać lub wyłączyć model w trakcie wykonywania zadania.

Jak podaje TechCrunch, Nadella użył określenia „Super Intelligence”, które serwis opisuje jako preferowane przez administrację Trumpa. Wpis nie jest więc ani regulacją, ani produktem Microsoftu, tylko publicznym postulatem szefa firmy.

Tło: utrata kontroli nad modelami

TechCrunch wiąże wpis z rosnącą liczbą incydentów, w których czołowe firmy AI, jak same przyznają, zdawały się tracić kontrolę nad swoimi modelami.

Wpis ukazał się też po tym, jak szef Anthropic Dario Amodei opublikował plan ostrożniejszego rozwoju AI. Nadella dołącza więc do grona liderów branży, którzy publicznie mówią o bezpieczeństwie AI, a jego propozycja dotyczy architektury systemów.

Co to znaczy dla firm

Dla polskich firm wdrażających agentów AI najbardziej praktyczny jest postulat zewnętrznych zabezpieczeń i dzienników działań. Oznacza on, że kontrola uprawnień, zapis zdarzeń i przycisk zatrzymania powinny leżeć poza modelem, a nie zależeć od jego dobrej woli. To jednak interpretacja wpisu, a nie zapowiedź konkretnych funkcji w produktach Microsoftu.