Blog
Articles, guides et analyses sur l'intelligence artificielle locale
10 articles trouvés per "moe"

Mistral Large 4 en open-weight : un MoE de 1T (52B actifs) pour l'inférence on-premise
Mistral a publié Large 4 en open-weight (1,03T au total, 52B actifs, 1M de contexte, licenza open-weight) : un article qui apprend à lire les spécifications MoE et à faire les calculs de RAM, de quantification et de vitesse pour l'inférence on-premise.

Nemotron 3.5 Bolt : le MoE de 74B de NVIDIA avec ~9B actifs, ce que ça change sur votre desktop
74B de paramètres, 9B actifs : le MoE de NVIDIA pour les agents en local tient dans 24 Go de VRAM avec la quantisation IQ2. VRAM réelle, chiffres déclarés et limites franches.

MiniCPM-V 4.7 : le MoE de 35B qui tourne sur smartphone avec 3 Go de RAM
MiniCPM-V 4.7 (35B totaux, ~3B actifs, sorti le 12 octobre 2026 par OpenBMB et ModelBest) est le premier MoE open de la série, visuel-linguistique : images multiples, vidéo, OCR. 13+ tok/s avec 3 Go de RAM sur iPhone 17 Pro Max, 17+ sur Android. Quantisations officielles BF16, FP8, INT4, AWQ, GPTQ, GGUF ; moteurs Ollama, llama.cpp, vLLM, SGLang. Les trois techniques : Lookahead Expert Scheduling, quantisation fine par niveau, échantillonnage spéculatif DSpark.

Ling 3.1 Flash : 560B open-weight sous licence MIT, contexte de 1M — ce que ça change si vous avez 24 Go de VRAM
Ling 3.1 Flash d'inclusionAI : MoE hybride 560B totaux / 25B actifs, contexte natif 1M tokens, checkpoint FP8, licence MIT. Concrètement, pour 24 Go de VRAM : quantifications, parallélisme et coûts API.

Kolibri d'Aleph Alpha : le MoE de 78B qui tourne (presque) en local
Kolibri (78,1B/3,46B, Apache 2.0, FP8) d'Aleph Alpha est le MoE européen open-weight : raisonnement, tool calling et contexte jusqu'à 1M de tokens. En FP8 il pèse ~78 Go de VRAM : il tourne sur RTX 5090 32GB + mémoire partagée ou sur Mac à mémoire unifiée ; pour une adoption pratique il manque encore l'architecture kolibri1 dans llama.cpp et les builds d'Ollama/LM Studio.

Modèles de décision en local : JEV-35B et le System 1 à 3 Md actifs
Pas besoin d'un grand LLM pour décider. JEV-35B (35 Md, 3 Md actifs) en NVFP4 sur une GPU de 32 Go et ej (11,4 Mo) sur CPU montrent comment faire du routage, de la classification et du contrôle qualité sans générer un seul jeton.

Mac Studio M5 Ultra : 512 Go de mémoire unifiée sur le bureau
Quatre dies, 512 Go de mémoire unifiée à 1,2 To/s : le Mac Studio M5 Ultra fait tourner les MoE de 100 à 560B en local. Les calculs de vitesse, le comparatif de coût avec la DGX Station et quand le Mac est le bon choix.

gpt-oss : le modèle de raisonnement open d'OpenAI
21 Md de paramètres au total mais seulement 3,6 Md actifs, poids natifs en MXFP4 et 128K de contexte : le premier modèle de raisonnement open d'OpenAI tient dans 16 Go. Ce que cela change en pratique.

Qwen3.8-27B vs Gemma 4 26B A4B : la nouvelle frontière à 24 Go
Dense de 27,8 Md ou MoE avec 3,8 Md actifs, un contexte de 262K contre 256K et presque le même poids en Q4_K_M : deux façons opposées d'apporter la qualité d'un grand modèle sur une carte grand public de 24 Go. Qui va plus vite, qui va plus en profondeur, et quand choisir l'un ou l'autre.

Comment lire les spécifications d'un modèle : famille, taille, contexte
Guide de lecture des spécifications d'un modèle : famille, taille totale et active, fenêtre de contexte, quantification, benchmarks et licence, avec un exemple sur DeepSeek V4.1 Flash.

