Blog
Articles, guides et analyses sur l'intelligence artificielle locale
10 articles trouvés per "inferenza"

Mistral Large 4 en open-weight : un MoE de 1T (52B actifs) pour l'inférence on-premise
Mistral a publié Large 4 en open-weight (1,03T au total, 52B actifs, 1M de contexte, licenza open-weight) : un article qui apprend à lire les spécifications MoE et à faire les calculs de RAM, de quantification et de vitesse pour l'inférence on-premise.

ML Drift : le moteur GPU on-device open source de Google, et quand il bat les généralistes
Le moteur qui fait tourner les modèles dans Chrome et YouTube est désormais open source : architecture, chiffres de benchmark et comparaison honnête avec Ollama et llama.cpp.

Mac Studio M5 Ultra : 512 Go de mémoire unifiée sur le bureau
Quatre dies, 512 Go de mémoire unifiée à 1,2 To/s : le Mac Studio M5 Ultra fait tourner les MoE de 100 à 560B en local. Les calculs de vitesse, le comparatif de coût avec la DGX Station et quand le Mac est le bon choix.

À combien revient un token : cinq chemins, les comptes et le point d'équilibre
API frontier, abonnement, fournisseurs d'inférence, GPU en location ou matériel à vous : cinq chemins pour générer des tokens, avec les coûts réels par mois, le compte de l'électricité et le point d'équilibre calculé.

NVIDIA, AMD et Intel pour l'IA locale : quelle plateforme choisir
CUDA, ROCm ou Vulkan ? Nous comparons les trois plateformes pour l'IA locale sur la base de ce qui est réellement disponible : stacks logiciels officiels, cartes par palier de VRAM (12, 16 et 24 Go) et vitesses réelles. Où reste le choix évident, où AMD l'emporte au rapport qualité-prix et quand vaut-il la peine de quitter NVIDIA.

Les cartes Blackwell de 16 Go : 5060 Ti, 5070, 5070 Ti
Le palier de 16 Go de VRAM est le centre de gravité de l'IA locale en 2026. C'est la mémoire suffisante pour faire tourner les meilleurs modèles denses open source en format Q4 — la classe 27B, le nouveau point d'équilibre du catalogue ouvert — sans sacrifier trop de contexte, et un prix catalogue qui (selon le mois) reste à la portée d'un budget personnel. La génération Blackwell offre trois cartes exactement au cœur de ce palier : RTX 5060 Ti, 5070 et 5070 Ti. Même génération, même GDDR7, trois expériences très différentes. Nous les comparons aujourd'hui : ce que chacune vous apporte vraiment, et où placer votre budget.

Ollama vs llama.cpp : sous le capot
Ollama utilise llama.cpp sous le capot, mais les deux ne sont pas la même chose : l'un est le moteur, l'autre la voiture. Ce qu'il y a vraiment dessous, quand la différence compte et comment choisir sans slogans.

Modèle sans GPU : quand le CPU suffit vraiment
En 2026, l'inférence sur CPU seul n'est plus un pis-aller : quand elle fonctionne vraiment, à quelle vitesse s'attendre et quelles manettes tirer pour presser le processeur.

KV cache : pourquoi la RAM sert à plus que le seul modèle
Ce qu'est la KV cache, la formule pour la calculer avec les chiffres de Llama 3.1 8B et Qwen3 8B, et les trois leviers pour la gérer : contexte, quantisation et flash attention.

GPU ou CPU : quand la CPU suffit
Le prefill et le decode, ce qui compte pour la vitesse (la bande passante mémoire), les chiffres réels sur un portable courant, les cas où la CPU suffit et ceux où la VRAM est nécessaire — avec les commandes pour mesurer.

