Inferenza⚡
llama.cpp
Pubblicato il 15 ott 2022
Implementazione C++ di LLM per inferenza efficiente su CPU e GPU consumer.
LLMC++LocalEfficient
Pubblicato il 10 nov 2026
Motore di inferenza open source per Apple Silicon basato su Metal: dichiara una decodifica fino a 3 volte più veloce dei motori classici su MacBook e Mac Studio. Progetto giovane, senza benchmark indipendenti al momento.
Visita il sito ufficiale per scaricare, documentarti e iniziare a utilizzare Tokspur.
Implementazione C++ di LLM per inferenza efficiente su CPU e GPU consumer.
Strumento open source per eseguire LLM localmente con semplicità.
Sintesi vocale in locale a bassa latenza basata su ONNX: genera parlato naturale da testo in tempo quasi reale, anche su CPU. Multilingue (italiano incluso) e facile da integrare nei pipeline: download del modello, una riga di comando. MIT.