Blog
Articles, guides et analyses sur l'intelligence artificielle locale
6 articles trouvés per "gguf"

D'où apprennent les modèles locaux : les poids ouverts expliqués sans fumage
Le modèle ne se raccroche pas à internet pour ses capacités : il les a absorbées une fois au pré-entraînement et il les exécute sur votre matériel. Poids ouverts ne veut pas dire données ouvertes, et les modèles viennent de beaucoup de labs.

MagpieTTS 357M : la synthèse vocale en 12 langues, même sur un laptop
NVIDIA publie MagpieTTS Multilingual, 364M de paramètres et 12 langues dans un seul modèle : synthèse vocale locale avec un fichier GGUF de 332 Mo, sans GPU. Le runtime C++ NeMo-Speech.cpp mène du zéro au premier audio en trois commandes ; les cinq voix sont les mêmes dans toutes les langues, et pour une voix française native Piper reste devant.

MiniCPM-V 4.7 : le MoE de 35B qui tourne sur smartphone avec 3 Go de RAM
MiniCPM-V 4.7 (35B totaux, ~3B actifs, sorti le 12 octobre 2026 par OpenBMB et ModelBest) est le premier MoE open de la série, visuel-linguistique : images multiples, vidéo, OCR. 13+ tok/s avec 3 Go de RAM sur iPhone 17 Pro Max, 17+ sur Android. Quantisations officielles BF16, FP8, INT4, AWQ, GPTQ, GGUF ; moteurs Ollama, llama.cpp, vLLM, SGLang. Les trois techniques : Lookahead Expert Scheduling, quantisation fine par niveau, échantillonnage spéculatif DSpark.

Mac Studio M5 Ultra: guide pratique 512 Go - les modèles qui tiennent et setup GGUF
Ce qui tient réellement dans le Mac Studio M5 Ultra 512 Go : la règle des 4 bit pour les MoE (actifs vs totaux), trois voies d’installation GGUF (Ollama, LM Studio, llama.cpp), pourquoi le cache KV est le vrai goulot d’étranglement et quand les 9 999 USD se récupèrent face aux API.

GGUF : le format qui fait tenir les modèles sur votre matériel
GGUF est le format à fichier unique qui distribue les modèles pour l'inférence locale : en-tête avec signature et version, métadonnées clé-valeur, index des tenseurs et poids alignés pour un chargement rapide via mmap. Types de quantification avec tailles réelles (8B de 14.96 Gio en F16 à 4.58 Gio en Q4_K_M), convention de nommage et règle pour choisir la taille selon la VRAM ou la RAM.

Quantification : tirer davantage du même matériel
La quantification réduit la précision des poids (de FP16 à 4-8 bits) pour faire entrer les modèles dans moins de VRAM et générer plus de tokens par seconde. Niveaux, tailles réelles de Qwen2.5 14B, règle de choix à partir de Q4_K_M et limites (code, raisonnement, langues autres que l'anglais).

