Blog
Articles, guides et analyses sur l'intelligence artificielle locale
8 articles trouvés per "vram"

Nemotron 3.5 Bolt : le MoE de 74B de NVIDIA avec ~9B actifs, ce que ça change sur votre desktop
74B de paramètres, 9B actifs : le MoE de NVIDIA pour les agents en local tient dans 24 Go de VRAM avec la quantisation IQ2. VRAM réelle, chiffres déclarés et limites franches.

Ling 3.1 Flash : 560B open-weight sous licence MIT, contexte de 1M — ce que ça change si vous avez 24 Go de VRAM
Ling 3.1 Flash d'inclusionAI : MoE hybride 560B totaux / 25B actifs, contexte natif 1M tokens, checkpoint FP8, licence MIT. Concrètement, pour 24 Go de VRAM : quantifications, parallélisme et coûts API.

Kolibri d'Aleph Alpha : le MoE de 78B qui tourne (presque) en local
Kolibri (78,1B/3,46B, Apache 2.0, FP8) d'Aleph Alpha est le MoE européen open-weight : raisonnement, tool calling et contexte jusqu'à 1M de tokens. En FP8 il pèse ~78 Go de VRAM : il tourne sur RTX 5090 32GB + mémoire partagée ou sur Mac à mémoire unifiée ; pour une adoption pratique il manque encore l'architecture kolibri1 dans llama.cpp et les builds d'Ollama/LM Studio.

Modèles d'images en local : de SDXL à Qwen-Image
Des 2,6B de paramètres de SDXL aux 7B de Qwen-Image 2.1 : fonctionnement des diffusion models, VRAM réellement nécessaire et quel modèle choisir selon votre matériel.

GGUF : le format qui fait tenir les modèles sur votre matériel
GGUF est le format à fichier unique qui distribue les modèles pour l'inférence locale : en-tête avec signature et version, métadonnées clé-valeur, index des tenseurs et poids alignés pour un chargement rapide via mmap. Types de quantification avec tailles réelles (8B de 14.96 Gio en F16 à 4.58 Gio en Q4_K_M), convention de nommage et règle pour choisir la taille selon la VRAM ou la RAM.

Qwen-Image 2.1 : générer et éditer des images en local
Qwen-Image 2.1 unifie génération à partir de texte, édition et transparence RGBA dans un modèle open de 7B (DiT de 32 couches). Setup local avec diffusers, support natif dans ComfyUI, besoins en VRAM (~14Go en bfloat16) et cas d'usage (stickers, photos de produit, workflows de design).

Quantification : tirer davantage du même matériel
La quantification réduit la précision des poids (de FP16 à 4-8 bits) pour faire entrer les modèles dans moins de VRAM et générer plus de tokens par seconde. Niveaux, tailles réelles de Qwen2.5 14B, règle de choix à partir de Q4_K_M et limites (code, raisonnement, langues autres que l'anglais).

Quand un grand modèle ne sert à rien : choisir par la taille
La méthode pour choisir la taille du modèle selon le matériel : les trois limites (mémoire, vitesse, latence perçue), le tableau VRAM pour la quantification Q4, les classes par matériel et les cas où le petit modèle gagne.

