Blog
Articles, guides et analyses sur l'intelligence artificielle locale
7 articles trouvés per "modelli"

gpt-oss : le modèle de raisonnement open d'OpenAI
21 Md de paramètres au total mais seulement 3,6 Md actifs, poids natifs en MXFP4 et 128K de contexte : le premier modèle de raisonnement open d'OpenAI tient dans 16 Go. Ce que cela change en pratique.

Modèles d'images en local : de SDXL à Qwen-Image
Des 2,6B de paramètres de SDXL aux 7B de Qwen-Image 2.1 : fonctionnement des diffusion models, VRAM réellement nécessaire et quel modèle choisir selon votre matériel.

L'italien dans les modèles locaux : à quoi s'attendre
Combien de modèles locaux tiennent vraiment l'italien ? Les chiffres des éditeurs, où ils se trompent, et la méthode en une demi-heure pour les mesurer vous-même.

GGUF : le format qui fait tenir les modèles sur votre matériel
GGUF est le format à fichier unique qui distribue les modèles pour l'inférence locale : en-tête avec signature et version, métadonnées clé-valeur, index des tenseurs et poids alignés pour un chargement rapide via mmap. Types de quantification avec tailles réelles (8B de 14.96 Gio en F16 à 4.58 Gio en Q4_K_M), convention de nommage et règle pour choisir la taille selon la VRAM ou la RAM.

Quantification : tirer davantage du même matériel
La quantification réduit la précision des poids (de FP16 à 4-8 bits) pour faire entrer les modèles dans moins de VRAM et générer plus de tokens par seconde. Niveaux, tailles réelles de Qwen2.5 14B, règle de choix à partir de Q4_K_M et limites (code, raisonnement, langues autres que l'anglais).

Quand un grand modèle ne sert à rien : choisir par la taille
La méthode pour choisir la taille du modèle selon le matériel : les trois limites (mémoire, vitesse, latence perçue), le tableau VRAM pour la quantification Q4, les classes par matériel et les cas où le petit modèle gagne.

Comment lire les spécifications d'un modèle : famille, taille, contexte
Guide de lecture des spécifications d'un modèle : famille, taille totale et active, fenêtre de contexte, quantification, benchmarks et licence, avec un exemple sur DeepSeek V4.1 Flash.

