Nemotron 3.5 Bolt : le MoE de 74B de NVIDIA avec ~9B actifs, ce que ça change sur votre desktop
Un modèle de 74 milliards de paramètres qui tourne sur votre GPU de 24 Go ? Avec les MoE, ce n'est pas une contradiction : sur ces 74 milliards, à chaque token, seule une partie travaille vraiment — ici, environ 9. Nemotron 3.5 Bolt est un MoE de NVIDIA pensé pour les tâches agentiques en local, et sa version à 2 bits est construite pour tenir dans 24 Go de VRAM. Voici ce que ça change sur votre machine.
Le MoE, en deux lignes
Avec les modèles denses, chaque token active tous les poids : un modèle de 30B calcule toujours 30B. Avec un Mixture-of-Experts (MoE), chaque token passe par un routeur qui choisit une poignée d'« experts » et n'active que ceux-là. Nemotron 3.5 Bolt a 74B de paramètres au total et environ 9B actifs par inférence. La différence qui compte pour vous : la VRAM doit contenir les 74B (ils pèsent, ils prennent de la place), mais c'est la vitesse que décident les 9B actifs (peu de calculs par token). C'est comme un bureau de 74 postes dont 9 sont occupés : le travail court à la vitesse de 9, mais le contrat est pour les 74.
L'architecture est un hybride Mamba-2 et Transformer avec un routeur LatentMoE, plus un vision encoder C-RADIO v4-H : le modèle lit texte, images et vidéos, avec un contexte jusqu'à 256K tokens (model card).
Combien de VRAM mangent les poids
Les poids sont la part fixe de la VRAM : paramètres × octets par poids + KV cache (dépend de la longueur du contexte et des tokens générés). Le fait que les paramètres actifs soient peu nombreux ne réduit pas les octets : les 74B tiennent tous en mémoire, la quantisation sert à les comprimer.
| Version | Octets/poids | Poids 74B | Où ça tourne |
|---|---|---|---|
| BF16 (pleine) | 2 | ~148 Go | serveur multi-GPU |
| Q8 | ~1 | ~74 Go | poste de travail 80 Go |
| Q4_K_M | ~0,57 | ~42 Go (estimation) | dual 24 Go |
| IQ2 (version 24 Go) | ~0,3 | ~24 Go | une RTX 4090 / 5090, à côté d'autres apps |
Le calcul est simple : 74 × 10^9 poids × 2 octets = 148 Go pour la BF16, publiée par NVIDIA pour le post-entraînement, pas pour l'inférence directe. La version 24 Go est une quantisation à 2 bits (IQ2) pensée exactement pour votre carte : NVIDIA déclare qu'elle tourne à 24 Go de VRAM en coexistant avec les autres applications ouvertes. La quantisation est le point qui fait tenir un grand modèle sur votre matériel — si vous voulez comprendre les noms et les arbitrages, je vous laisse avec Quantification : tirer davantage du même matériel.
Les chiffres : ce qu'une version à 2 bits fait vraiment
Les chiffres déclarés dans la model card pour la version IQ2-24GB, comparés aux autres MoE qui tiennent dans les mêmes 24 Go :
| Benchmark | Nemotron 3.5 Bolt (IQ2) | Qwen3.6-35B-A3B | Gemma 4 26B-A4B | Nemotron-Lightning-30B-A3B |
|---|---|---|---|---|
| Terminal-Bench 2.1 | 50,98 | 44,38 | 37,22 | 23,46 |
| GDPVal-AA-V2 | 28,47 | 25,75 | 15,33 | 18,26 |
| GPQA Diamond | 86,43 | 83,40 | 79,61 | 75,57 |
| BrowseComp | 66,75 | 48,74 | 26,30 | 36,81 |
La lecture qui compte : sur Terminal-Bench 2.1 — le modèle exécute des commandes, navigue dans le système de fichiers, résout des tâches — le Bolt devance Qwen3.6-35B de ~7 points et Gemma 4 de ~14. Même chose sur GDPVal (tâches de travail réelles), BrowseComp (navigation web) et GPQA (raisonnement). Les chiffres déclarés, toujours : ce sont ceux de NVIDIA dans la model card, pas mesurés par nous. Le contexte : la BF16 à pleine précision descend à 53,93 sur Terminal-Bench et 88,83 sur GPQA, donc la version à 2 bits reste très proche du modèle original.
Comment le faire démarrer
Trois commandes, selon votre stack :
- Ollama — le plus simple :
ollama run hf.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF - llama.cpp — si vous voulez contrôler les drapeaux :
llama serve -hf nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF - vLLM — si vous servez le modèle à des agents ou des scripts :
vllm serve nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB
Ollama si vous voulez ouvrir et discuter ; vLLM si vous voulez servir plusieurs requêtes en parallèle. Les recettes vLLM publiées par NVIDIA incluent le décodage spéculatif avec un drafter LiLiCorr (7 tokens spéculatifs) : plus de vitesse sans plus de matériel.
Et les limites ?
Francs, parce qu'ils comptent :
- 2 bits, ce n'est pas gratuit. La qualité est un peu sous la BF16 : le même tableau le montre (Terminal-Bench 50,98 contre 53,93). Pour du travail sérieux, attendez-vous à un pas en arrière par rapport au modèle plein.
- La BF16, ce n'est pas pour le poste de travail. 148 Go de VRAM, c'est un serveur multi-GPU : c'est la version pour ceux qui font du post-entraînement, pas pour votre machine.
- L'anglais est la langue de référence. Le modèle couvre anglais + code, espagnol, français, allemand, italien et japonais : l'italien y est, mais ce n'est pas la langue la plus forte.
- L'hybride Mamba-2-Transformer est récent. Les backends doivent le supporter : utilisez des versions à jour d'Ollama ou de llama.cpp.
Le test que je vous conseille : 5 à 10 commandes que vous utilisez vraiment sur un projet à vous, 5 questions sur vos documents (avec images), 10 questions en italien — puis comparez avec les modèles que vous avez déjà. Les benchmarks disent que c'est le meilleur MoE dans vos 24 Go ; votre travail dit s'il est le bon modèle pour vous.
Si vous voulez aller plus loin
- Kolibri d'Aleph Alpha : le MoE de 78B qui tourne (presque) en local — l'autre manière d'amener les grands MoE en local
- Quand un grand modèle ne sert à rien : choisir par la taille — le critère opposé : quand un 8B suffit
- Matériel pour l'IA locale — quelle carte acheter pour un modèle de ce type
En résumé : Nemotron 3.5 Bolt met un MoE de 74B (9B actifs) dans 24 Go de VRAM grâce à une quantisation IQ2 construite pour ça. Les chiffres déclarés le placent devant Qwen3.6-35B, Gemma 4 26B et Nemotron-Lightning-30B sur terminal, web et raisonnement. Trois commandes pour le faire démarrer (Ollama, llama.cpp, vLLM), support texte-images-vidéos, contexte 256K, licence OpenMDW-1.1 qui tient aussi en entreprise. La limite à garder en tête : 2 bits ne font pas 16, et l'italien n'est pas la langue de pointe. Testez sur vos tâches avant de tout déplacer.
Sources
- Model card NVIDIA-Nemotron-3.5-Bolt-74B-A9B-BF16 (Hugging Face)
- Model card NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF (Hugging Face)
Article généré par IA
Vous avez aimé cet article ?
Abonnez-vous à la newsletter pour recevoir de nouveaux tutoriels et guides.