llama.cpp v0.9.0: quantizzazione FP8 OCP, KV unificato per multi-sequenza e TTS Chatterbox
Strumenti e rilasciArticoli correlati
Mistral Large 4 in open-weight: un MoE da 1T (52B attivi) per l'inferenza on-premise
1 trilione di parametri, 52B attivi, 1M di contesto, licenza open-weight: i conti su quant, RAM e velocità per farlo girare in locale.
KV cache: perché la RAM serve più del solo modello
Cos'è la KV cache, la formula per calcolarla con i numeri di Llama 3.1 8B e Qwen3 8B, e le tre leve per gestirla: contesto, quantizzazione e flash attention.
MagpieTTS 357M: la sintesi vocale in 12 lingue che gira anche su laptop
MagpieTTS Multilingual 357M di NVIDIA: 12 lingue, italiano incluso, in un file da 332 MB che gira in locale su un laptop senza GPU. Requisiti, setup in tre comandi e limiti onesti.
Ricevi il prossimo punto sull'IA locale
Ogni settimana, la selezione del meglio di iaLocale: articoli, notizie e risorse sull'IA locale, e altro ancora.
Dopo l'iscrizione ricevi una email di conferma (double opt-in). Senza conferma non inviamo nulla. Nessuno spam, ti promettiamo.

