Implémentation C++ de LLM pour une inférence efficace sur CPU et GPU grand public.
Flide
Publié le 10 nov. 2026
Moteur d'inférence open source pour les modèles de décision (famille Jev). La technique est le forking exact de l'état : plusieurs questions partagent les calculs en préservant la sémantique exacte des décisions. Les tests des auteurs déclarent jusqu'à 9,5x de vitesse par rapport à vLLM et SGLang ; prend en charge 30+ modèles de décision open source (Decision Index 0.4.1).
Caractéristiques
- Forking exact de l'état
- Jusqu'à 9,5x plus rapide (auteurs)
- 30+ modèles de décision
- Open source
Tags
Liens utiles
Découvrir Flide
Visitez le site officiel pour télécharger, vous documenter et commencer à utiliser Flide.
Ressources liées — Inférence
Outil open source pour exécuter des LLM en local, simplement.
Sintesi vocale in locale a bassa latenza basata su ONNX: genera parlato naturale da testo in tempo quasi reale, anche su CPU. Multilingue (italiano incluso) e facile da integrare nei pipeline: download del modello, una riga di comando. MIT.

