Vai al contenuto principale
← Torna alle notizie

llama.cpp v0.9.0: quantizzazione FP8 OCP, KV unificato per multi-sequenza e TTS Chatterbox

Strumenti e rilasci
Fonte:GitHub
Il motore di inferenza locale aggiunge la quantizzazione OCP FP8 E4M3 (modalità saturante) e l'operatore flash_attn_ext_rows che rende il KV cache unificato efficiente per l'inferenza multi-sequenza. Nuove architetture (Clover-35B-A3B-Preview, Limite 1B, Metis-1.6 e Mistral Large 4), TTS Chatterbox, Nemotron 3.5 Transcribe in 40 lingue e prefill più veloce per gemma4 E2B/E4B; ggml passa a v0.29.0 con parallelismo di tensori multi-nodo NCCL.

Ricevi il prossimo punto sull'IA locale

Ogni settimana, la selezione del meglio di iaLocale: articoli, notizie e risorse sull'IA locale, e altro ancora.

Dopo l'iscrizione ricevi una email di conferma (double opt-in). Senza conferma non inviamo nulla. Nessuno spam, ti promettiamo.