Nemotron 3.5 Bolt: il MoE da 74B di NVIDIA con ~9B attivi, cosa cambia sul desktop

Un modello da 74 miliardi di parametri che gira sulla tua GPU da 24GB? Con i MoE non è una contraddizione: di quei 74 miliardi, a ogni token ne lavora davvero solo una parte — in questo caso circa 9. Nemotron 3.5 Bolt è un MoE di NVIDIA pensato per le attività agentiche in locale, e la sua versione a 2 bit è costruita per stare in 24GB di VRAM. Ecco cosa cambia sul tuo desktop.

Il MoE, in due righe

Con i modelli dense ogni token attiva tutti i pesi: un modello da 30B calcola sempre 30B. Con un Mixture-of-Experts (MoE) ogni token passa da un router che sceglie una manciata di "esperti" e attiva solo quelli. Nemotron 3.5 Bolt ha 74B di parametri totali e circa 9B attivi per inferenza. La differenza che conta per te: la VRAM deve contenere tutti i 74B (pesano, occupano spazio), ma la velocità la decidono i 9B attivi (pochi calcoli per token). È come un ufficio di 74 posti di cui 9 sono occupati: il lavoro corre a velocità 9, ma il contratto è per tutti e 74.

L'architettura è un ibrido Mamba-2 e Transformer con router LatentMoE, più un vision encoder C-RADIO v4-H: il modello legge testo, immagini e video, con contesto fino a 256K token (model card).

I pesi quanta VRAM mangiano

I pesi sono la voce fissa della VRAM: parametri × byte per peso + KV cache (dipende dalla lunghezza del contesto e dai token generati). Il fatto che i parametri attivi siano pochi non riduce i byte: i 74B stanno tutti in memoria, la quantizzazione è che li comprime.

Versione	Byte/peso	Pesi 74B	Dove gira
BF16 (piena)	2	~148GB	server multi-GPU
Q8	~1	~74GB	workstation 80GB
Q4_K_M	~0.57	~42GB (stima)	dual 24GB
IQ2 (versione 24GB)	~0.3	~24GB	una RTX 4090 / 5090, affiancata ad altre app

Il calcolo è semplice: 74 × 10^9 pesi × 2 byte = 148GB per la BF16, che NVIDIA ha pubblicato per il post-training, non per l'inferenza diretta. La versione 24GB è una quantizzazione 2 bit (IQ2) pensata esattamente per la tua carta: NVIDIA dichiara che gira a 24GB di VRAM coesistendo con le altre applicazioni aperte. La quantizzazione è il punto che fa stare un modello grande sul tuo hardware — se vuoi capire i nomi e i trade-off, ti lascio con quantizzazione: ottenere di più dallo stesso hardware.

I numeri: cosa fa davvero una versione a 2 bit

I numeri dichiarati nella model card per la versione IQ2-24GB, a confronto con gli altri MoE che stanno negli stessi 24GB:

Benchmark	Nemotron 3.5 Bolt (IQ2)	Qwen3.6-35B-A3B	Gemma 4 26B-A4B	Nemotron-Lightning-30B-A3B
Terminal-Bench 2.1	50.98	44.38	37.22	23.46
GDPVal-AA-V2	28.47	25.75	15.33	18.26
GPQA Diamond	86.43	83.40	79.61	75.57
BrowseComp	66.75	48.74	26.30	36.81

La lettura che conta: su Terminal-Bench 2.1 — il modello esegue comandi, naviga nel file system, risolve task — il Bolt supera Qwen3.6-35B di ~7 punti e Gemma 4 di ~14. La stessa cosa su GDPVal (task di lavoro reale), BrowseComp (navigazione web) e GPQA (ragionamento). I numeri dichiarati, sempre: sono della NVIDIA nella model card, non sono testati da noi. Il contesto: la BF16 a piena precisione scende a 53.93 su Terminal-Bench e 88.83 su GPQA, quindi la versione a 2 bit resta vicinissima al modello originale.

Come lo fai partire

Tre comandi, a seconda del tuo stack:

• Ollama — il più semplice: ollama run hf.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF
• llama.cpp — se vuoi controllare i flag: llama serve -hf nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF
• vLLM — se servi il modello ad agenti o script: vllm serve nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB

Ollama se vuoi aprire e parlare; vLLM se vuoi servire più richieste in parallelo. Le ricette vLLM che NVIDIA pubblica includono la decodifica speculativa con un drafter LiLiCorr (7 token speculativi): velocità in più senza hardware in più.

E i limiti?

Onesti, perché contano:

• 2 bit non è gratis. La qualità è un po' sotto la BF16: la stessa tabella lo mostra (Terminal-Bench 50.98 contro 53.93). Per lavoro serio, aspettati un passo indietro rispetto al modello pieno.
• La BF16 non è per il desktop. 148GB di VRAM significa server multi-GPU: è la versione per chi fa post-training, non per la tua macchina.
• L'inglese è la lingua di riferimento. Il modello copre inglese + coding, spagnolo, francese, tedesco, italiano e giapponese: l'italiano c'è, ma non è la lingua più forte.
• L'ibrido Mamba-2-Transformer è recente. I backends devono supportarlo: usa versioni aggiornate di Ollama o llama.cpp.

Il test che ti consiglio: 5-10 comandi che usi davvero su un progetto tuo, 5 domande su documenti tuoi (con immagini), 10 domande in italiano — poi confronta con i modelli che hai già. I benchmark dicono che è il MoE migliore nei tuoi 24GB; il tuo lavoro dice se è il modello giusto per te.

Se vuoi andare oltre

• Kolibri di Aleph Alpha: il MoE da 78B che gira (quasi) in locale — l'altro modo di portare i MoE grandi in locale
• Quando un modello grande non serve: scegliere per dimensione — il criterio opposto: quando basta un 8B
• Hardware per IA locale — quale GPU comprare per un modello del genere

In sintesi: Nemotron 3.5 Bolt mette un MoE da 74B (9B attivi) in 24GB di VRAM grazie a una quantizzazione IQ2 costruita apposta. I numeri dichiarati lo mettono davanti a Qwen3.6-35B, Gemma 4 26B e Nemotron-Lightning-30B su terminal, web e ragionamento. Tre comandi per farlo partire (Ollama, llama.cpp, vLLM), supporto testi-immagini-video, contesto 256K, licenza OpenMDW-1.1 che vale anche in azienda. Il limite da tenere a mente: 2 bit non è 16, e l'italiano non è la lingua di punta. Prova sulle tue attività prima di spostare tutto.

Fonti

• Model card NVIDIA-Nemotron-3.5-Bolt-74B-A9B-BF16 (Hugging Face)
• Model card NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF (Hugging Face)

Articolo generato con IA