Blog
Articles, guides et analyses sur l'intelligence artificielle locale
14 articles trouvés per "API"

Ollama voice : la synthèse vocale locale, de la ligne de commande à l'API OpenAI
Phonon apporte la synthèse vocale dans le serveur Ollama : une commande pour parler, un endpoint OpenAI-compatible et la lecture en streaming de la réponse, 35 % plus rapide que le runtime de référence sur M5 Max.

SynthAPI : environnements synthétiques et scaling laws pour entraîner des agents tool-use
Environnements synthétiques aux échecs réglables pour entraîner des agents tool-use en local : les scaling laws de SynthAPI et le calcul — ~1,60 € d'énergie contre ~158 € d'API pour 10 000 tâches.

Yzma : des embeddings jusqu'à 2,6 fois plus rapides qu'Ollama, le comparatif
Yzma appelle llama.cpp dans le même processus : pas de serveur, pas de round trip. C'est 2,6x plus rapide qu'Ollama sur les embeddings — avec les chiffres et le setup.

Secret Guard et les gateways LLM locaux : protéger les secrets quand l'agent les utilise
Secret Guard est un gateway en Rust, open source, qui intercepte les requêtes de votre agent et remplace les secrets par des mock avant qu'ils n'atteignent le provider : le modèle ne les voit jamais, et la valeur réelle revient à l'agent.

Images en local : ComfyUI 0.40 et comfy_attention, pour tous les modèles
ComfyUI 0.40 étend comfy_attention à tous les modèles avec des noyaux sélectionnables par modèle et via LoRA, active par défaut le système d'assets avec API locale et standardise la sortie 3D ; le tableau VRAM reste la référence du choix.

Des agents ML en local : MLExpert et EpochGo sur Ollama, coût d'API nul
MLExpert pousse la barre à 35B et 72,7 % de médailles ; EpochGo fait tourner trois agents AutoML sur 16 Go, sans API : ce qui marche aujourd'hui, les comptes et les limites.

Mac Studio M5 Ultra: guide pratique 512 Go - les modèles qui tiennent et setup GGUF
Ce qui tient réellement dans le Mac Studio M5 Ultra 512 Go : la règle des 4 bit pour les MoE (actifs vs totaux), trois voies d’installation GGUF (Ollama, LM Studio, llama.cpp), pourquoi le cache KV est le vrai goulot d’étranglement et quand les 9 999 USD se récupèrent face aux API.

Ling 3.1 Flash : 560B open-weight sous licence MIT, contexte de 1M — ce que ça change si vous avez 24 Go de VRAM
Ling 3.1 Flash d'inclusionAI : MoE hybride 560B totaux / 25B actifs, contexte natif 1M tokens, checkpoint FP8, licence MIT. Concrètement, pour 24 Go de VRAM : quantifications, parallélisme et coûts API.

À combien revient un token : cinq chemins, les comptes et le point d'équilibre
API frontier, abonnement, fournisseurs d'inférence, GPU en location ou matériel à vous : cinq chemins pour générer des tokens, avec les coûts réels par mois, le compte de l'électricité et le point d'équilibre calculé.

Coûts : local vs API, avec les vrais chiffres
Combien coûte vraiment le local par rapport à une API cloud ? Tarifs par token vérifiés, amortissement de la carte graphique, électricité et point de rentabilité, calculé avec les vrais chiffres.

GGUF : le format qui fait tenir les modèles sur votre matériel
GGUF est le format à fichier unique qui distribue les modèles pour l'inférence locale : en-tête avec signature et version, métadonnées clé-valeur, index des tenseurs et poids alignés pour un chargement rapide via mmap. Types de quantification avec tailles réelles (8B de 14.96 Gio en F16 à 4.58 Gio en Q4_K_M), convention de nommage et règle pour choisir la taille selon la VRAM ou la RAM.

vLLM : servir des modèles rapides
vLLM est le moteur open source qui transforme un modèle local en serveur concurrent : PagedAttention, batching continu, installation et les concepts clés pour choisir quand l'utiliser à la place d'Ollama.

Qwen : le modèle open au meilleur support multilingue
Qwen est la famille open au meilleur support pour le français et l'italien : générations, tailles, MoE, quand l'utiliser et comparaison rapide avec Llama.

Ollama vs LM Studio : quel outil choisir
Ollama pour serveurs et scripts, LM Studio pour l'exploration desktop : tableau comparatif, les deux API (11434/1234) et le cas réel de ceux qui les utilisent ensemble.

