Nowości
Apple rozmawia ze startupem, który skompresował model AI 14-krotnie na iPhone'a
Apple prowadzi rozmowy z kalifornijskim startupem PrismML, który potrafi zmniejszyć 54-gigabajtowy model AI do mniej niż 4 gigabajtów, tak by działał w całości na iPhonie. Firma z Doliny Krzemowej wywodząca się z Caltechu twierdzi, że jej technologia obniża zużycie pamięci nawet piętnastokrotnie.
Apple negocjuje z niewielkim startupem PrismML licencję lub przejęcie technologii, która pozwala uruchamiać duże modele językowe bezpośrednio na iPhonie, bez łączenia się z chmurą. Firma, wywodząca się z Caltechu i wspierana przez fundusz Khosla Ventures, twierdzi, że jej metoda kompresji zmniejsza modele AI nawet piętnastokrotnie przy zachowaniu większości ich możliwości.
Jak działa kompresja
Technologia PrismML opiera się na architekturze wag jedno- i trójbitowych. Zamiast przechowywać każdą wagę sieci neuronowej jako liczbę zmiennoprzecinkową o precyzji 16 bitów, firma redukuje ją do zaledwie trzech możliwych wartości: minus jeden, zero lub plus jeden. Twórcą matematycznych podstaw metody jest Babak Hassibi, profesor Caltechu i współzałożyciel oraz dyrektor generalny PrismML.
Efektem jest drastyczne ograniczenie rozmiaru modelu bez konieczności trenowania go od zera. PrismML pokazał to na otwartym modelu Qwen od Alibaby: wersja z 27 miliardami parametrów, ważąca normalnie około 54 gigabajtów, po kompresji zajmuje mniej niż 4 gigabajty i mieści się w całości w pamięci iPhone'a 15 Pro lub nowszego.
Cena kompresji
Taka redukcja rozmiaru nie jest darmowa. Skompresowane modele tracą kilka punktów procentowych skuteczności i wypadają słabiej w zadaniach wymagających precyzyjnego rozumowania faktograficznego, matematyki oraz kodowania. Dla zastosowań takich jak lokalny asystent głosowy czy podpowiedzi tekstowe różnica może być akceptowalna, dla bardziej wymagających zadań analitycznych już niekoniecznie.
Hassibi opisał obecny etap rozmów jako bardzo wczesny. Powiedział, że Apple i inne firmy testują technologię PrismML, mierząc szybkość działania, zużycie energii i jakość odpowiedzi na urządzeniach.
Naprawdę oceniają teraz naszą technologię - Babak Hassibi, CEO PrismML
Wszystko idzie w dobrym kierunku - Babak Hassibi, CEO PrismML
Dlaczego Apple to interesuje
Apple od dawa stawia na przetwarzanie danych bezpośrednio na urządzeniu jako element strategii prywatności, w przeciwieństwie do konkurentów, którzy w dużej mierze polegają na modelach działających w chmurze. Możliwość uruchomienia dużego modelu językowego lokalnie, bez wysyłania zapytań na zewnętrzne serwery, wpisuje się w tę filozofię i może przełożyć się na szybszą, bardziej prywatną Siri.
Nie ujawniono, czy negocjacje dotyczą licencji na technologię, czy pełnego przejęcia PrismML. Nie podano też żadnych kwot ani warunków ewentualnej transakcji. PrismML potwierdził jedynie, że rozmawia z Apple i innymi firmami, nie precyzując, które to firmy.
Znaczenie dla rynku
Jeśli technologia PrismML trafi do produktów Apple, może przyspieszyć trend przenoszenia dużych modeli AI z centrów danych na urządzenia końcowe. To istotne również z perspektywy energetycznej: mniejsze modele uruchamiane lokalnie odciążają serwery i sieci, które już teraz z trudem nadążają za popytem generowanym przez sztuczną inteligencję.
Dla polskich użytkowników iPhone'ów oznaczałoby to potencjalnie szybszą i działającą offline wersję funkcji Apple Intelligence, w tym Siri wspieranej przez modele takie jak Claude, którą Apple udostępnił w publicznej becie iOS 27. Na razie jednak rozmowy z PrismML są na wczesnym etapie i nie ma pewności, czy i kiedy technologia trafi do konkretnych produktów.
