Blog
Articles, guides et analyses sur l'intelligence artificielle locale
9 articles trouvés per "api"

Yzma : des embeddings jusqu'à 2,6 fois plus rapides qu'Ollama, le comparatif
Yzma appelle llama.cpp dans le même processus : pas de serveur, pas de round trip. C'est 2,6x plus rapide qu'Ollama sur les embeddings — avec les chiffres et le setup.

Secret Guard et les gateways LLM locaux : protéger les secrets quand l'agent les utilise
Secret Guard est un gateway en Rust, open source, qui intercepte les requêtes de votre agent et remplace les secrets par des mock avant qu'ils n'atteignent le provider : le modèle ne les voit jamais, et la valeur réelle revient à l'agent.

Images en local : ComfyUI 0.40 et comfy_attention, pour tous les modèles
ComfyUI 0.40 étend comfy_attention à tous les modèles avec des noyaux sélectionnables par modèle et via LoRA, active par défaut le système d'assets avec API locale et standardise la sortie 3D ; le tableau VRAM reste la référence du choix.

Des agents ML en local : MLExpert et EpochGo sur Ollama, coût d'API nul
MLExpert pousse la barre à 35B et 72,7 % de médailles ; EpochGo fait tourner trois agents AutoML sur 16 Go, sans API : ce qui marche aujourd'hui, les comptes et les limites.

Ling 3.1 Flash : 560B open-weight sous licence MIT, contexte de 1M — ce que ça change si vous avez 24 Go de VRAM
Ling 3.1 Flash d'inclusionAI : MoE hybride 560B totaux / 25B actifs, contexte natif 1M tokens, checkpoint FP8, licence MIT. Concrètement, pour 24 Go de VRAM : quantifications, parallélisme et coûts API.

À combien revient un token : cinq chemins, les comptes et le point d'équilibre
API frontier, abonnement, fournisseurs d'inférence, GPU en location ou matériel à vous : cinq chemins pour générer des tokens, avec les coûts réels par mois, le compte de l'électricité et le point d'équilibre calculé.

Coûts : local vs API, avec les vrais chiffres
Combien coûte vraiment le local par rapport à une API cloud ? Tarifs par token vérifiés, amortissement de la carte graphique, électricité et point de rentabilité, calculé avec les vrais chiffres.

GGUF : le format qui fait tenir les modèles sur votre matériel
GGUF est le format à fichier unique qui distribue les modèles pour l'inférence locale : en-tête avec signature et version, métadonnées clé-valeur, index des tenseurs et poids alignés pour un chargement rapide via mmap. Types de quantification avec tailles réelles (8B de 14.96 Gio en F16 à 4.58 Gio en Q4_K_M), convention de nommage et règle pour choisir la taille selon la VRAM ou la RAM.

Ollama vs LM Studio : quel outil choisir
Ollama pour serveurs et scripts, LM Studio pour l'exploration desktop : tableau comparatif, les deux API (11434/1234) et le cas réel de ceux qui les utilisent ensemble.

