Blog
Articles, guides et analyses sur l'intelligence artificielle locale
6 articles trouvés per "llama.cpp"

Yzma : des embeddings jusqu'à 2,6 fois plus rapides qu'Ollama, le comparatif
Yzma appelle llama.cpp dans le même processus : pas de serveur, pas de round trip. C'est 2,6x plus rapide qu'Ollama sur les embeddings — avec les chiffres et le setup.

ML Drift : le moteur GPU on-device open source de Google, et quand il bat les généralistes
Le moteur qui fait tourner les modèles dans Chrome et YouTube est désormais open source : architecture, chiffres de benchmark et comparaison honnête avec Ollama et llama.cpp.

MiniCPM-V 4.7 : le MoE de 35B qui tourne sur smartphone avec 3 Go de RAM
MiniCPM-V 4.7 (35B totaux, ~3B actifs, sorti le 12 octobre 2026 par OpenBMB et ModelBest) est le premier MoE open de la série, visuel-linguistique : images multiples, vidéo, OCR. 13+ tok/s avec 3 Go de RAM sur iPhone 17 Pro Max, 17+ sur Android. Quantisations officielles BF16, FP8, INT4, AWQ, GPTQ, GGUF ; moteurs Ollama, llama.cpp, vLLM, SGLang. Les trois techniques : Lookahead Expert Scheduling, quantisation fine par niveau, échantillonnage spéculatif DSpark.

Kolibri d'Aleph Alpha : le MoE de 78B qui tourne (presque) en local
Kolibri (78,1B/3,46B, Apache 2.0, FP8) d'Aleph Alpha est le MoE européen open-weight : raisonnement, tool calling et contexte jusqu'à 1M de tokens. En FP8 il pèse ~78 Go de VRAM : il tourne sur RTX 5090 32GB + mémoire partagée ou sur Mac à mémoire unifiée ; pour une adoption pratique il manque encore l'architecture kolibri1 dans llama.cpp et les builds d'Ollama/LM Studio.

Ollama vs llama.cpp : sous le capot
Ollama utilise llama.cpp sous le capot, mais les deux ne sont pas la même chose : l'un est le moteur, l'autre la voiture. Ce qu'il y a vraiment dessous, quand la différence compte et comment choisir sans slogans.

GPU ou CPU : quand la CPU suffit
Le prefill et le decode, ce qui compte pour la vitesse (la bande passante mémoire), les chiffres réels sur un portable courant, les cas où la CPU suffit et ceux où la VRAM est nécessaire — avec les commandes pour mesurer.

