Blog
Articles, guides et analyses sur l'intelligence artificielle locale
15 articles trouvés per "vram"

Nemotron 3.5 Bolt : le MoE de 74B de NVIDIA avec ~9B actifs, ce que ça change sur votre desktop
74B de paramètres, 9B actifs : le MoE de NVIDIA pour les agents en local tient dans 24 Go de VRAM avec la quantisation IQ2. VRAM réelle, chiffres déclarés et limites franches.

MOSS-Image : le ripack ComfyUI d'OpenMOSS-Team, workflows et exigences réelles
MOSS-Image : le ripack ComfyUI d'OpenMOSS-Team, prêt en deux dossiers. VRAM réelle calculée par combinaison de poids, de ~11GB à ~31GB, et les quatre workflows inclus.

Images en local : ComfyUI 0.40 et comfy_attention, pour tous les modèles
ComfyUI 0.40 étend comfy_attention à tous les modèles avec des noyaux sélectionnables par modèle et via LoRA, active par défaut le système d'assets avec API locale et standardise la sortie 3D ; le tableau VRAM reste la référence du choix.

Ling 3.1 Flash : 560B open-weight sous licence MIT, contexte de 1M — ce que ça change si vous avez 24 Go de VRAM
Ling 3.1 Flash d'inclusionAI : MoE hybride 560B totaux / 25B actifs, contexte natif 1M tokens, checkpoint FP8, licence MIT. Concrètement, pour 24 Go de VRAM : quantifications, parallélisme et coûts API.

Kolibri d'Aleph Alpha : le MoE de 78B qui tourne (presque) en local
Kolibri (78,1B/3,46B, Apache 2.0, FP8) d'Aleph Alpha est le MoE européen open-weight : raisonnement, tool calling et contexte jusqu'à 1M de tokens. En FP8 il pèse ~78 Go de VRAM : il tourne sur RTX 5090 32GB + mémoire partagée ou sur Mac à mémoire unifiée ; pour une adoption pratique il manque encore l'architecture kolibri1 dans llama.cpp et les builds d'Ollama/LM Studio.

NVIDIA, AMD et Intel pour l'IA locale : quelle plateforme choisir
CUDA, ROCm ou Vulkan ? Nous comparons les trois plateformes pour l'IA locale sur la base de ce qui est réellement disponible : stacks logiciels officiels, cartes par palier de VRAM (12, 16 et 24 Go) et vitesses réelles. Où reste le choix évident, où AMD l'emporte au rapport qualité-prix et quand vaut-il la peine de quitter NVIDIA.

Les cartes Blackwell de 16 Go : 5060 Ti, 5070, 5070 Ti
Le palier de 16 Go de VRAM est le centre de gravité de l'IA locale en 2026. C'est la mémoire suffisante pour faire tourner les meilleurs modèles denses open source en format Q4 — la classe 27B, le nouveau point d'équilibre du catalogue ouvert — sans sacrifier trop de contexte, et un prix catalogue qui (selon le mois) reste à la portée d'un budget personnel. La génération Blackwell offre trois cartes exactement au cœur de ce palier : RTX 5060 Ti, 5070 et 5070 Ti. Même génération, même GDDR7, trois expériences très différentes. Nous les comparons aujourd'hui : ce que chacune vous apporte vraiment, et où placer votre budget.

Qwen3.8-27B vs Gemma 4 26B A4B : la nouvelle frontière à 24 Go
Dense de 27,8 Md ou MoE avec 3,8 Md actifs, un contexte de 262K contre 256K et presque le même poids en Q4_K_M : deux façons opposées d'apporter la qualité d'un grand modèle sur une carte grand public de 24 Go. Qui va plus vite, qui va plus en profondeur, et quand choisir l'un ou l'autre.

Modèles d'images en local : de SDXL à Qwen-Image
Des 2,6B de paramètres de SDXL aux 7B de Qwen-Image 2.1 : fonctionnement des diffusion models, VRAM réellement nécessaire et quel modèle choisir selon votre matériel.

GGUF : le format qui fait tenir les modèles sur votre matériel
GGUF est le format à fichier unique qui distribue les modèles pour l'inférence locale : en-tête avec signature et version, métadonnées clé-valeur, index des tenseurs et poids alignés pour un chargement rapide via mmap. Types de quantification avec tailles réelles (8B de 14.96 Gio en F16 à 4.58 Gio en Q4_K_M), convention de nommage et règle pour choisir la taille selon la VRAM ou la RAM.

Fine-tuning : adapter un modèle à vos données avec LoRA et QLoRA
Fine-tuning avec LoRA et QLoRA : quand c'est vraiment nécessaire, comment préparer 100-500 exemples de qualité, combien de VRAM il faut (8-12 Go en QLoRA pour un 7B) et quels outils locaux utiliser : LLaMA-Factory, Unsloth, MLX.

Qwen-Image 2.1 : générer et éditer des images en local
Qwen-Image 2.1 unifie génération à partir de texte, édition et transparence RGBA dans un modèle open de 7B (DiT de 32 couches). Setup local avec diffusers, support natif dans ComfyUI, besoins en VRAM (~14Go en bfloat16) et cas d'usage (stickers, photos de produit, workflows de design).

Quantification : tirer davantage du même matériel
La quantification réduit la précision des poids (de FP16 à 4-8 bits) pour faire entrer les modèles dans moins de VRAM et générer plus de tokens par seconde. Niveaux, tailles réelles de Qwen2.5 14B, règle de choix à partir de Q4_K_M et limites (code, raisonnement, langues autres que l'anglais).

Quand un grand modèle ne sert à rien : choisir par la taille
La méthode pour choisir la taille du modèle selon le matériel : les trois limites (mémoire, vitesse, latence perçue), le tableau VRAM pour la quantification Q4, les classes par matériel et les cas où le petit modèle gagne.

GPU ou CPU : quand la CPU suffit
Le prefill et le decode, ce qui compte pour la vitesse (la bande passante mémoire), les chiffres réels sur un portable courant, les cas où la CPU suffit et ceux où la VRAM est nécessaire — avec les commandes pour mesurer.

