Startup skompresował model z 27 miliardami parametrów na iPhone'a

Startup PrismML, wywodzący się z Caltechu, ogłosił, że skompresował model językowy Qwen 3.6 z 27 miliardami parametrów tak, by uruchamiał się w całości lokalnie na iPhonie 17 Pro, bez łączenia się z serwerami w chmurze. Firma twierdzi, że zrobiła to bez utraty jakości odpowiedzi, co odróżnia jej podejście od dotychczasowych technik kompresji stosowanych na urządzeniach mobilnych.

Model według PrismML radzi sobie z rozbudowanymi rozmowami, wieloetapowym rozumowaniem, zadaniami agentowymi oraz generowaniem kodu, mimo działania wyłącznie na chipie telefonu, bez dostępu do internetu. To ważna różnica względem dotychczasowych podejść producentów smartfonów, które zwykle korzystają z modeli o mniejszej liczbie parametrów albo aktywują tylko ich część naraz.

Jak działa kompresja

Apple w swoich obecnych modelach na urządzeniu, uruchamianych w ramach frameworka Core AI zaprezentowanego na WWDC 2026, opiera się na architekturze rzadkiej aktywacji, w której model liczy około 20 miliardów parametrów, ale w danym momencie działa tylko niewielka ich część, rzędu 1 do 4 miliardów. PrismML poszedł inną drogą, kompresując wagi modelu tak mocno, że cały model, z każdym z 27 miliardów parametrów, mieści się w pamięci telefonu i pozostaje w pełni aktywny.

Taka metoda ma być trudniejsza technicznie, ale w zamian eliminować kompromisy jakościowe typowe dla modeli z rzadką aktywacją, gdzie część wiedzy modelu jest w danym zapytaniu pomijana. Firma nie opublikowała jeszcze pełnej dokumentacji technicznej metody kompresji, zapowiadając to wraz z otwartym udostępnieniem modelu w połowie lipca.

Rozmowy z Apple

Według doniesień Apple prowadziło z PrismML rozmowy dotyczące licencjonowania technologii kompresji. Dla Apple miałoby to duże znaczenie, ponieważ najnowsze funkcje Siri wciąż opierają się częściowo na modelu Gemini od Google, co dla firmy z Cupertino, stawiającej na prywatność i przetwarzanie na urządzeniu, jest rozwiązaniem tymczasowym, a nie docelowym.

Może za trzy lata 95 procent inteligencji, jakiej potrzebujesz, będzie dostępne lokalnie, tylko ostatnie 5 procent naprawdę będzie wymagało wysłania zapytania do chmury - Babak Hassibi, dyrektor generalny PrismML

Co to znaczy dla użytkowników i deweloperów

Dla przeciętnego użytkownika smartfona przełom PrismML oznacza perspektywę korzystania z zaawansowanego asystenta AI całkowicie offline, bez opóźnień sieciowych, bez przesyłania treści rozmów na serwery zewnętrzne i bez opłat za tokeny w chmurze. Dla deweloperów aplikacji mobilnych to sygnał, że modele klasy dotąd zarezerwowanej dla centrów danych mogą w ciągu najbliższych miesięcy trafić bezpośrednio do aplikacji na iOS.

Dla polskiego rynku aplikacji mobilnych i startupów budujących produkty na bazie modeli językowych oznacza to możliwość projektowania funkcji AI działających lokalnie u klienta, co obniża koszty infrastruktury chmurowej i ułatwia spełnienie wymogów dotyczących ochrony danych osobowych, istotnych zwłaszcza w sektorach regulowanych jak bankowość czy ochrona zdrowia.

Źródła: BigGo Finance (finance.biggo.com)