Skarbnik Nowego Jorku apeluje do Anthropic o wstrzymanie debiutu giełdowego

Mark Levine, który zarządza finansami Nowego Jorku, wezwał Anthropic do wstrzymania planowanego debiutu giełdowego. W liście z 14 października do Dario Amodei przekonuje, że przygotowania do oferty odciągają zasoby i uwagę od pracy nad bezpieczeństwem, a firma sama ostrzegała przed ryzykiem swojej technologii.

Co zawiera list

Levine pisze jako doradca inwestycyjny, powiernik i kustosz miejskich funduszy emerytalnych. Prosi Anthropic o wstrzymanie IPO do czasu, aż firma w pełni i przejrzyście odniesie się do obaw o bezpieczeństwo, nadzór i tempo rozwoju AI. Domaga się też wyjaśnienia, jakie audyty i mechanizmy kontroli firma wprowadzi, co obejmą i w jakim terminie, oraz czy będą zgodne z apelem samego Amodei o spowolnienie rozwoju możliwości modeli. Prosi o pisemną odpowiedź.

Zamiast pędzić z IPO, firma powinna skupić energię na rozwiązaniu tych bezprecedensowych zagrożeń. - Mark Levine, skarbnik miasta Nowy Jork

Argumenty skarbnika

List przywołuje esej Amodei z 12 września, w którym szef Anthropic napisał, że trzeba spowolnić tempo, w jakim rosną możliwości modeli AI. Levine powołuje się też na to, że sama firma ostrzegała, iż postęp może wyprzedzić zdolność społeczeństwa do nadzoru, a niekontrolowane rekurencyjne samodoskonalenie mogłoby wyprzedzić nadzór człowieka. Przywołuje również badacza Jacoba Coxona, który odszedł z firmy 9 września i publicznie stwierdził, że osoby z wewnątrz firmy szczerze wierzą, iż AI może nas wszystkich zabić do końca dekady.

Skarbnik uznaje za niewystarczające porozumienie z Białym Domem, które Anthropic i pięć innych firm podpisało niedawno i które określono jako moralnie wiążące. Wskazuje także na projekt dokumentu S-1, w którym według doniesień ryzyko opisano na około 80 stronach, czyli niemal dwa razy dłużej niż działalność firmy. Stąd zdanie o katastrofalnych lub egzystencjalnych zagrożeniach dla ludzkości, przytoczone w liście za doniesieniami prasowymi.

Nadzór i odpowiedzialność

Osobny wątek dotyczy ładu korporacyjnego. Anthropic jest spółką public benefit corporation z siedzibą w stanie Delaware i ma Long-Term Benefit Trust. Levine zwraca uwagę, że według doniesień kontrola może się koncentrować wśród założycieli i powierników, co tworzy lukę między kontrolą a odpowiedzialnością. Dla inwestorów to jego zdaniem szczególnie istotne wobec ryzyk, które firma sama przyznaje.

Skarbnik dodaje, że nawet jeśli ostrzeżenia okażą się przesadzone, wskazują na szersze ryzyko ekonomiczne. W liście przytoczono też ostrzeżenie Amodei w związku z incydentem z Hugging Face: za 6-12 miesięcy podobny rój mógłby przejąć cały internet za pomocą botnetu i potencjalnie wyrządzić szkody rzędu setek miliardów dolarów.

Harmonogram IPO

Według Reutersa Anthropic poinformowało potencjalnych inwestorów na spotkaniu przedofertowym w tym tygodniu, że przychody w trzecim kwartale wzrosły o 45 procent w porównaniu z poprzednim. Doniesienia mówią o celu wyceny rzędu 2 bilionów dolarów. Konkretna data debiutu nie została w tych źródłach podana, a rywal OpenAI ma według Reutersa wejść na giełdę w 2027 roku.

Levine jest inwestorem instytucjonalnym: według Reutersa miejskie fundusze emerytalne mają około 7 mln dolarów ekspozycji na Anthropic przez fundusze private equity. Skarbnik prosi firmę o pisemną odpowiedź.