Blog
Articles, guides et analyses sur l'intelligence artificielle locale
8 articles trouvés per "llm"

Secret Guard et les gateways LLM locaux : protéger les secrets quand l'agent les utilise
Secret Guard est un gateway en Rust, open source, qui intercepte les requêtes de votre agent et remplace les secrets par des mock avant qu'ils n'atteignent le provider : le modèle ne les voit jamais, et la valeur réelle revient à l'agent.

Nemotron 3.5 Bolt : le MoE de 74B de NVIDIA avec ~9B actifs, ce que ça change sur votre desktop
74B de paramètres, 9B actifs : le MoE de NVIDIA pour les agents en local tient dans 24 Go de VRAM avec la quantisation IQ2. VRAM réelle, chiffres déclarés et limites franches.

Nemotron-Parse : la famille OCR de NVIDIA pour lire vos documents en local
Nemotron Parse est la famille de modèles vision-encodeur-décodeur de NVIDIA qui lit les PDF en local : markdown formaté, formules LaTeX, coordonnées et classe sémantique de chaque élément, dans l'ordre de lecture. v1.1 (nov. 2025), v1.2 (févr. 2026) et 2.0 (juin 2026), toutes sous le milliard de paramètres et rééditées le 20 octobre ; la 2.0 atteint 0.72 d'ANLS sur les écritures indiennes. En local avec vLLM de v0.20 à v0.26 : les documents restent sur votre matériel.

MiniCPM-V 4.7 : le MoE de 35B qui tourne sur smartphone avec 3 Go de RAM
MiniCPM-V 4.7 (35B totaux, ~3B actifs, sorti le 12 octobre 2026 par OpenBMB et ModelBest) est le premier MoE open de la série, visuel-linguistique : images multiples, vidéo, OCR. 13+ tok/s avec 3 Go de RAM sur iPhone 17 Pro Max, 17+ sur Android. Quantisations officielles BF16, FP8, INT4, AWQ, GPTQ, GGUF ; moteurs Ollama, llama.cpp, vLLM, SGLang. Les trois techniques : Lookahead Expert Scheduling, quantisation fine par niveau, échantillonnage spéculatif DSpark.

Modèles de décision en local : JEV-35B et le System 1 à 3 Md actifs
Pas besoin d'un grand LLM pour décider. JEV-35B (35 Md, 3 Md actifs) en NVFP4 sur une GPU de 32 Go et ej (11,4 Mo) sur CPU montrent comment faire du routage, de la classification et du contrôle qualité sans générer un seul jeton.

L'italien dans les modèles locaux : à quoi s'attendre
Combien de modèles locaux tiennent vraiment l'italien ? Les chiffres des éditeurs, où ils se trompent, et la méthode en une demi-heure pour les mesurer vous-même.

vLLM : servir des modèles rapides
vLLM est le moteur open source qui transforme un modèle local en serveur concurrent : PagedAttention, batching continu, installation et les concepts clés pour choisir quand l'utiliser à la place d'Ollama.

Exécuter des Modèles LLM en Local : du Premier Install au Premier Modèle
Découvrez comment installer et utiliser de grands modèles de langage sur votre ordinateur, sans dépendre de services cloud.

