Nvidia wydaje Nemotron 3.5 Bolt E4B, otwarty model do lokalnych agentów głosowych, który według firmy mieści się w około 4 GB

Nvidia udostępniła Nemotron 3.5 Bolt E4B 4GB, mały model językowy z otwartymi wagami, który ma działać lokalnie na kartach GeForce RTX i modułach Jetson jako silnik rozmowy dla agentów głosowych, postaci w grach i robotów. Model powstał przez dotrenowanie Gemma 4 E4B, a według firmy w kwantyzacji Q4_K_M zajmuje na RTX od 3,1 do 4,3 GB pamięci.

Co Nvidia wypuściła

Nemotron 3.5 Bolt E4B to model tekstowy, który Nvidia optymalizowała przede wszystkim pod agenty konwersacyjne. Firma opisuje go jako model zoptymalizowany pod szybkość i inteligencję na gigabajt. Obsługuje wieloturowe wywoływanie narzędzi, tryb konwersacyjny z krótkimi odpowiedziami oraz konfigurowalne rozumowanie.

Punktem wyjścia był model Gemma 4 E4B w wersji instrukcyjnej. Nvidia dołożyła post-trening z użyciem uczenia ze wzmocnieniem (RLVR i RLHF) w bibliotekach NeMo-RL i NeMo-Gym. Każdą próbkę wykorzystano zarówno w trybie z rozumowaniem, jak i bez, w proporcji 2:1 na rzecz trybu bez rozumowania, a w jednym ze środowisk podniesiono kary za długość, by ograniczyć gadatliwość.

Wydanie obejmuje kilka plików: model po post-treningu w formacie GGUF, drafter DFlash dla tej wersji, pełny checkpoint BF16 oraz drafter DFlash-NVFP4 dla checkpointu z Hugging Face. Firma podaje, że drafter DFlash daje do 21 procent wyższą przepustowość niż oryginalny drafter MTP z Gemma 4 E4B. Receptury treningowe są publiczne, a zbiory danych udostępniono częściowo: próbka jest ogólnodostępna, a dostęp do pozostałych danych (kod, matematyka, dane wielojęzyczne) wymaga zgody. Zestawy Brevity Bench i When2Call-MT mają trafić do sieci później.

Wyniki według Nvidii

Nvidia podaje, że model ma średnio około 40 procent wyższą jakość niż jej wcześniejszy Nemotron 3 Nano 4B oraz w porównaniach z włączonym rozumowaniem generuje nawet do około 80 procent mniej tokenów wyjściowych niż konkurenci. To pomiary producenta, wykonane na wagach BF16 w zestawie benchmarków obejmujących rozmowę, użycie narzędzi, wykonywanie instrukcji i odporność na długi kontekst.

Porównanie z Gemma 4 E4B, Qwen 3.5 4B i Nemotronem 3 Nano 4B jest mieszane. Bolt uzyskał 84,8 pkt w IHEval przy 67,0 dla Gemma 4 E4B, 67,0 w RoleBench przy 49,9 dla Gemmy oraz 72,1 w LongMemEval. Przegrywa jednak m.in. w Tau2-Bench (55,1 wobec 75,1 dla Qwen 3.5 4B), w LongBench v2 (50,5 wobec 59,9 dla Qwena) i w teście RULER przy 64 tys. tokenów (87,0 wobec 95,1 dla Qwena i 91,5 dla Nano 4B).

Sprzęt i zastosowania

Według pomiarów Nvidii, przy kwantyzacji Q4_K_M i rozmiarze partii 1 w llama.cpp, na RTX 5070 z 12 GB model zużywał 3,5 GB VRAM i generował 133,4 tokenu na sekundę; firma zastrzega, że wyniki mogą się różnić w zależności od sprzętu, oprogramowania i konfiguracji. Na RTX Spark było to 67,0 tokenu na sekundę, a na Jetson Orin Nano z 8 GB 15,5 tokenu na sekundę przy czasie do pierwszego tokenu 5785 ms. Wolniejsze moduły brzegowe wyraźnie odstają, co ma znaczenie dla projektów wymagających szybkiej reakcji głosowej.

Firma wskazuje jako zastosowania asystentów urządzeń i głosu, interaktywne postacie w grach oraz agentów wbudowanych i przemysłowych. W demonstracjach pokazano robota Reachy Mini na Jetson Orin Nano 8 GB, z modelem Cosmos 3 Edge do wizji, oraz postać kowala-handlarza w grze, która sprawdza płatność, a potem wywołuje narzędzia, by wykuć i przekazać przedmiot.

Co to znaczy dla twórców

Dla polskich zespołów budujących asystentów głosowych, boty w grach czy aplikacje na urządzenia brzegowe liczy się przede wszystkim to, że model działa lokalnie, bez wysyłania rozmów do chmury, i jest dostępny w popularnych narzędziach jak Ollama i LM Studio. Model udostępniono na licencji OpenMDW 1.1, a bazowa Gemma 4 jest objęta licencją Apache 2.0; według karty modelu można go używać komercyjnie i niekomercyjnie. Warto jednak przetestować jakość w języku polskim, o którym źródła nie mówią nic konkretnego.

Wyniki pochodzą od producenta i nie zostały tu potwierdzone niezależnymi testami. Model zaprojektowano z myślą o rozmowie i wywoływaniu narzędzi; w części testów długiego kontekstu i narzędzi (Tau2-Bench, LongBench v2, RULER) wypada jednak słabiej niż Qwen 3.5 4B.