Implementazione C++ di LLM per inferenza efficiente su CPU e GPU consumer.
Flide
Pubblicato il 10 nov 2026
Motore di inferenza open source per i modelli di decisione (famiglia Jev). La tecnica è il forking esatto dello stato: più domande condividono i calcoli preservando la semantica esatta delle decisioni. I test degli autori dichiarano fino a 9,5x di velocità rispetto a vLLM e SGLang; supporta 30+ modelli di decisione open source (Decision Index 0.4.1).
Caratteristiche
- Forking esatto dello stato
- Fino a 9,5x più veloce (autori)
- 30+ modelli di decisione
- Open source
Tag
Link Utili
Scopri Flide
Visita il sito ufficiale per scaricare, documentarti e iniziare a utilizzare Flide.
Risorse Correlate — Inferenza
Strumento open source per eseguire LLM localmente con semplicità.
Sintesi vocale in locale a bassa latenza basata su ONNX: genera parlato naturale da testo in tempo quasi reale, anche su CPU. Multilingue (italiano incluso) e facile da integrare nei pipeline: download del modello, una riga di comando. MIT.

