Blog
Articles, guides et analyses sur l'intelligence artificielle locale
3 articles trouvés per "hardware"

Ling 3.1 Flash : 560B open-weight sous licence MIT, contexte de 1M — ce que ça change si vous avez 24 Go de VRAM
Ling 3.1 Flash d'inclusionAI : MoE hybride 560B totaux / 25B actifs, contexte natif 1M tokens, checkpoint FP8, licence MIT. Concrètement, pour 24 Go de VRAM : quantifications, parallélisme et coûts API.

Kolibri d'Aleph Alpha : le MoE de 78B qui tourne (presque) en local
Kolibri (78,1B/3,46B, Apache 2.0, FP8) d'Aleph Alpha est le MoE européen open-weight : raisonnement, tool calling et contexte jusqu'à 1M de tokens. En FP8 il pèse ~78 Go de VRAM : il tourne sur RTX 5090 32GB + mémoire partagée ou sur Mac à mémoire unifiée ; pour une adoption pratique il manque encore l'architecture kolibri1 dans llama.cpp et les builds d'Ollama/LM Studio.

Quand un grand modèle ne sert à rien : choisir par la taille
La méthode pour choisir la taille du modèle selon le matériel : les trois limites (mémoire, vitesse, latence perçue), le tableau VRAM pour la quantification Q4, les classes par matériel et les cas où le petit modèle gagne.

