Aller au contenu principal

Blog

Articles, guides et analyses sur l'intelligence artificielle locale

6 articles trouvés per "llama.cpp"

Yzma : des embeddings jusqu'à 2,6 fois plus rapides qu'Ollama, le comparatif
ComparaisonsIntermédiaire

Yzma : des embeddings jusqu'à 2,6 fois plus rapides qu'Ollama, le comparatif

Yzma appelle llama.cpp dans le même processus : pas de serveur, pas de round trip. C'est 2,6x plus rapide qu'Ollama sur les embeddings — avec les chiffres et le setup.

iaLocale Team
7 novembre 2026
ML Drift : le moteur GPU on-device open source de Google, et quand il bat les généralistes
ComparaisonsIntermédiaire

ML Drift : le moteur GPU on-device open source de Google, et quand il bat les généralistes

Le moteur qui fait tourner les modèles dans Chrome et YouTube est désormais open source : architecture, chiffres de benchmark et comparaison honnête avec Ollama et llama.cpp.

iaLocale Team
3 novembre 2026
MiniCPM-V 4.7 : le MoE de 35B qui tourne sur smartphone avec 3 Go de RAM
ModèlesIntermédiaire

MiniCPM-V 4.7 : le MoE de 35B qui tourne sur smartphone avec 3 Go de RAM

MiniCPM-V 4.7 (35B totaux, ~3B actifs, sorti le 12 octobre 2026 par OpenBMB et ModelBest) est le premier MoE open de la série, visuel-linguistique : images multiples, vidéo, OCR. 13+ tok/s avec 3 Go de RAM sur iPhone 17 Pro Max, 17+ sur Android. Quantisations officielles BF16, FP8, INT4, AWQ, GPTQ, GGUF ; moteurs Ollama, llama.cpp, vLLM, SGLang. Les trois techniques : Lookahead Expert Scheduling, quantisation fine par niveau, échantillonnage spéculatif DSpark.

iaLocale Team
21 octobre 2026
Kolibri d'Aleph Alpha : le MoE de 78B qui tourne (presque) en local
ModèlesIntermédiaire

Kolibri d'Aleph Alpha : le MoE de 78B qui tourne (presque) en local

Kolibri (78,1B/3,46B, Apache 2.0, FP8) d'Aleph Alpha est le MoE européen open-weight : raisonnement, tool calling et contexte jusqu'à 1M de tokens. En FP8 il pèse ~78 Go de VRAM : il tourne sur RTX 5090 32GB + mémoire partagée ou sur Mac à mémoire unifiée ; pour une adoption pratique il manque encore l'architecture kolibri1 dans llama.cpp et les builds d'Ollama/LM Studio.

iaLocale Team
18 octobre 2026
Ollama vs llama.cpp : sous le capot
ComparaisonsIntermédiaire

Ollama vs llama.cpp : sous le capot

Ollama utilise llama.cpp sous le capot, mais les deux ne sont pas la même chose : l'un est le moteur, l'autre la voiture. Ce qu'il y a vraiment dessous, quand la différence compte et comment choisir sans slogans.

iaLocale Team
7 octobre 2026
GPU ou CPU : quand la CPU suffit
MatérielIntermédiaire

GPU ou CPU : quand la CPU suffit

Le prefill et le decode, ce qui compte pour la vitesse (la bande passante mémoire), les chiffres réels sur un portable courant, les cas où la CPU suffit et ceux où la VRAM est nécessaire — avec les commandes pour mesurer.

iaLocale Team
21 septembre 2026