Qwen3.8-2.4T-A95B : les comptes pour faire tourner 2,4 billions de paramètres open-weight, 95B actifs

Qwen3.8-2.4T-A95B est le premier modèle de la classe Qwen-Max en open-weight : 2 400 milliards de paramètres au total, 95 milliards actifs par token. La nouvelle concerne aussi ceux qui font tourner des modèles en local, mais pas pour les raisons que vous imaginez : il ne s'agit pas de le télécharger sur une station de travail. Il s'agit de comprendre ce qu'il pèse, ce que ça coûte, et ce que vous y gagnez. Les calculs, ci-dessous.
Ce que 2,4 T signifie vraiment
« 2 400 milliards » n'est pas un chiffre qu'on sent : c'est une grandeur de data center. Les faits concrets, d'après la fiche du modèle :
- MoE à 512 experts : pour chaque token, 10 experts routés + 1 partagé s'activent, soit 95B de paramètres actifs. Le reste du modèle est là, mais ne se calcule pas.
- 92 couches, hidden dimension 8192, avec prédictif multi-token (MTP) entraîné sur plusieurs pas.
- Attention hybride : 3 couches sur 4 utilisent Gated DeltaNet (attention linéaire, état constant), 1 sur 4 l'attention classique (Gated Attention). C'est la même famille de astuces qui tient la KV cache basse : sur un long contexte, la mémoire de cache ne croît que pour les 23 couches d'attention classique, pas pour les 92.
- Contexte : 262 144 tokens natifs, extensible jusqu'à ~1M.
- Formats : poids BF16 dans le dépôt, avec une variante FP8 séparée. La version API officielle (Qwen3.8-Max) ajoute l'entrée visuelle et 1M de contexte par défaut, comme annoncé dans le blog officiel.
Le point qui compte pour les calculs : les octets nécessaires en mémoire sont ceux des 2,4 T entiers, pas des 95B actifs. Dans un MoE, les experts restent en mémoire et chaque token en touche quelques-uns : la machine doit pouvoir les garder tous.
Combien de Go cela représente
Paramètres × octets par paramètre. Avec les rapports standards des quants GGUF (les mêmes que pour les modèles de taille ordinaire) :
| Format | Octets/paramètre | Poids sur disque |
|---|---|---|
| BF16 (tel que publié) | 2,0 | ~4,8 To |
| FP8 (variante séparée) | 1,0 | ~2,4 To |
| Q8 (GGUF) | ~1,1 | ~2,6 To |
| Q4_K_M (GGUF) | ~0,55 | ~1,3 To |
| Q2_K (GGUF) | ~0,38 | ~0,9 To |
Même au quant le plus agressif du tableau, les poids dépassent 900 Go. La question n'est plus « quel quant », mais « quelle machine ».
Où ça tient
La réponse dérangeante : sur aucun nœud grand public seul. Les sommets du marché aujourd'hui :
| Machine | Mémoire | Q4_K_M (~1,3 To) dedans ? |
|---|---|---|
| NVIDIA DGX Spark (GB10) | 128 Go | Non |
| AMD Ryzen AI Max+ 395 (Strix Halo) | 128 Go | Non |
| Mac Studio (M5 Max) | 128 Go | Non |
| Mac Studio (M5 Ultra) | 512 Go | Non — 512 < 1 300 |
Le record grand public, 512 Go de mémoire unifiée, couvre à peine un tiers du modèle en Q4. Si vous voulez un nœud unique qui tienne avec de la marge, le prochain palier, c'est la mémoire serveur : 1,5-2 To de RAM ECC sur une workstation multi-socket, ou des GPU en parallélisme de tenseurs/experts.
L'alternative grand public réaliste, c'est le multi-nœud :
| Configuration | Mémoire totale | Poids en Q4_K_M | Coût matériel |
|---|---|---|---|
| 4× Mac Studio M5 Ultra 512 Go | 2 To | Çà tient, avec marge pour la KV cache | 4 × 6 699 = 26 796 € |
| 8× H100 80 Go (SXM) | 640 Go | Non, même en Q2_K | 8 × 30 000 = 240 000 € |
| 24× H100 80 Go (SXM) | 1,9 To | Çà tient | 24 × 30 000 = 720 000 € |
Les 8 H100 figurent pour montrer l'écart : 640 Go ne suffisent à aucun quant du tableau ci-dessus. Il faut un multiple de plus, et le prix suit.
Les comptes courants : amortissement et électricité
Mêmes hypothèses que nos autres calculs de machines : amortissement sur 36 mois, utilisation 24/7 à 50 % de charge moyenne, électricité à 0,25 €/kWh.
4× Mac Studio M5 Ultra 512 Go (480 W de pointe par unité, ~240 W en moyenne à mi-charge) :
- Amortissement : 26 796 € ÷ 36 = ~744 €/mois
- Électricité : 0,24 kW × 730 h = 175 kWh par Mac par mois → 4 Mac = 701 kWh → × 0,25 = ~175 €/mois
- Total : ~920 €/mois, tout compris
24× H100 80 Go (700 W de pointe par carte, ~350 W en moyenne) :
- Amortissement : 720 000 € ÷ 36 = 20 000 €/mois
- Électricité : 8,4 kW en moyenne × 730 h = 6 132 kWh → × 0,25 = ~1 530 €/mois
- Total : ~21 500 €/mois, sans compter la salle, le refroidissement et le réseau
La facture d'électricité de la flotte H100 (1 530 €/mois) coûte plus cher que le total de la flotte Mac, qui elle n'en dépense que 175. Sur les gros MoE, la différence d'architecture entre mémoire unifiée et HBM se voit d'abord au compteur, pas au benchmark.
Quelle vitesse ça donne
Sur un nœud unique, la règle qu'on utilise pour les MoE vaut aussi ici : la décodification est limitée par la bande passante, et on divise la bande par les octets des experts actifs. 95B actifs en Q4_K_M ≈ 52 Go :
| Bande | Tok/s théoriques (1 200 ÷ 52) |
|---|---|
| Mac Studio M5 Ultra, 1 200 Go/s | ~23 |
| DGX Spark, 273 Go/s | ~5 |
Attention : le Mac 512 Go ne tient pas le modèle, donc les 23 tok/s sont un contre-factuel — la vitesse d'une machine qui n'existe pas. En multi-nœud, le comptage change : chaque token traverse les 92 blocs MoE et à chaque bloc l'activation fait un all-to-all entre les nœuds qui hébergent les experts. Le goulot n'est plus la bande passante mémoire mais l'interconnexion : Thunderbolt (10-15 Go/s) ou 25/40GbE. Il n'existe pas de chiffres publics pour cette configuration exacte, et nous n'en inventerons pas : l'ordre de grandeur est celui de l'interconnexion, et si vous avez besoin d'un serveur toujours allumé avec des SLO, partez du principe que le multi-nœud grand public est un projet à valider, pas un achat.
Quand ça a du sens
- Si aujourd'hui vous faites tourner un Qwen3.8-27B ou un 30B-A3B sur 24 Go de VRAM : pour la grande majorité des usages — RAG, coding assisté, automatisations — ceux-là suffisent. Cet article n'est pas une incitation à acheter autre chose, c'est la carte des coûts si vous en venez vraiment à vouloir la qualité classe Max sans API.
- Ça a du sens en local quand les données ne peuvent pas sortir, que le modèle doit être disponible 24/7 sans compteur de tokens, et que vous avez déjà de la place pour un rack ou une table pleine de Mac. Dans ce cas, les ~920 €/mois de la flotte Mac sont le chiffre à comparer avec votre volume de tokens API.
- Ça n'a pas de sens pour qui démarre de zéro : un seul Mac 512 Go avec un modèle de 30-70B vous donne une IA locale complète pour un quart du prix, avec la moitié des problèmes logistiques.
En résumé
Qwen3.8-2.4T-A95B apporte la classe Qwen-Max en open-weight : 2,4T de paramètres, 95B actifs, contexte de 262k à 1M. En octets, ~1,3 To en Q4_K_M, plus que tout nœud grand public (max 512 Go), donc le local pour ce modèle est forcément multi-nœud : 4 Mac Studio M5 Ultra à ~26 800 € (~920 €/mois tout compris) ou 24 H100 à 720 000 € (~21 500 €/mois). La vitesse en multi-nœud est décidée par l'interconnexion, pas par la mémoire. Si vous n'avez pas encore d'infrastructure, le bon modèle pour vous est plus petit : la frontière open est arrivée à la Max-class, mais votre matériel, probablement pas.
Article généré par IA
Dans ces parcours
Vous avez aimé cet article ?
Abonnez-vous à la newsletter pour recevoir de nouveaux tutoriels et guides.
Articles Correlés

Ripple-65B : un dense de 64,8B sous Apache-2.0, les comptes pour le faire tourner en local
64,8 milliards de paramètres, Apache 2.0, 1M de contexte et un checkpoint NVFP4 pensé pour 128 Go de mémoire unifiée : les comptes et les critères pour faire tourner un dense frontier en local.

QRAE : compresser le contexte des agents DeepSearch pour économiser token et latence
QRAE utilise l'entropie d'attention du modèle pour décider quels fragments récupérés restent dans le contexte : token -45 %, latence -30 % et succès en hausse sur quatre benchmarks.

