Aller au contenu principal

Blog

Articles, guides et analyses sur l'intelligence artificielle locale

8 articles trouvés per "quantizzazione"

Ripple-65B : un dense de 64,8B sous Apache-2.0, les comptes pour le faire tourner en local
ModèlesIntermédiaire

Ripple-65B : un dense de 64,8B sous Apache-2.0, les comptes pour le faire tourner en local

64,8 milliards de paramètres, Apache 2.0, 1M de contexte et un checkpoint NVFP4 pensé pour 128 Go de mémoire unifiée : les comptes et les critères pour faire tourner un dense frontier en local.

iaLocale Team
19 novembre 2026
Mistral Large 4 en open-weight : un MoE de 1T (52B actifs) pour l'inférence on-premise
ModèlesIntermédiaire

Mistral Large 4 en open-weight : un MoE de 1T (52B actifs) pour l'inférence on-premise

Mistral a publié Large 4 en open-weight (1,03T au total, 52B actifs, 1M de contexte, licenza open-weight) : un article qui apprend à lire les spécifications MoE et à faire les calculs de RAM, de quantification et de vitesse pour l'inférence on-premise.

iaLocale Team
14 novembre 2026
MOSS-Image : le ripack ComfyUI d'OpenMOSS-Team, workflows et exigences réelles
Cas d’usageIntermédiaire

MOSS-Image : le ripack ComfyUI d'OpenMOSS-Team, workflows et exigences réelles

MOSS-Image : le ripack ComfyUI d'OpenMOSS-Team, prêt en deux dossiers. VRAM réelle calculée par combinaison de poids, de ~11GB à ~31GB, et les quatre workflows inclus.

iaLocale Team
31 octobre 2026
GGUF : le format qui fait tenir les modèles sur votre matériel
ModèlesIntermédiaire

GGUF : le format qui fait tenir les modèles sur votre matériel

GGUF est le format à fichier unique qui distribue les modèles pour l'inférence locale : en-tête avec signature et version, métadonnées clé-valeur, index des tenseurs et poids alignés pour un chargement rapide via mmap. Types de quantification avec tailles réelles (8B de 14.96 Gio en F16 à 4.58 Gio en Q4_K_M), convention de nommage et règle pour choisir la taille selon la VRAM ou la RAM.

iaLocale Team
30 septembre 2026
Quantification : tirer davantage du même matériel
ModèlesIntermédiaire

Quantification : tirer davantage du même matériel

La quantification réduit la précision des poids (de FP16 à 4-8 bits) pour faire entrer les modèles dans moins de VRAM et générer plus de tokens par seconde. Niveaux, tailles réelles de Qwen2.5 14B, règle de choix à partir de Q4_K_M et limites (code, raisonnement, langues autres que l'anglais).

iaLocale Team
28 septembre 2026
Quand un grand modèle ne sert à rien : choisir par la taille
ModèlesIntermédiaire

Quand un grand modèle ne sert à rien : choisir par la taille

La méthode pour choisir la taille du modèle selon le matériel : les trois limites (mémoire, vitesse, latence perçue), le tableau VRAM pour la quantification Q4, les classes par matériel et les cas où le petit modèle gagne.

iaLocale Team
27 septembre 2026
Comment lire les spécifications d'un modèle : famille, taille, contexte
ModèlesIntermédiaire

Comment lire les spécifications d'un modèle : famille, taille, contexte

Guide de lecture des spécifications d'un modèle : famille, taille totale et active, fenêtre de contexte, quantification, benchmarks et licence, avec un exemple sur DeepSeek V4.1 Flash.

iaLocale Team
26 septembre 2026
vLLM : servir des modèles rapides
GuidesAvancé

vLLM : servir des modèles rapides

vLLM est le moteur open source qui transforme un modèle local en serveur concurrent : PagedAttention, batching continu, installation et les concepts clés pour choisir quand l'utiliser à la place d'Ollama.

iaLocale Team
20 septembre 2026