Blog
Articoli, guide e approfondimenti sull'intelligenza artificiale locale
6 articoli trovati per "gguf"

Da dove imparano i modelli locali: i pesi aperti spiegati senza fuffa
Il modello non si aggancia a internet per le capacità: le ha assorbite una volta al pre-training e le esegue sul tuo hardware. Pesi aperti non è dati aperti, e i modelli vengono da molti lab, non da uno solo.

MagpieTTS 357M: la sintesi vocale in 12 lingue che gira anche su laptop
NVIDIA pubblica MagpieTTS Multilingual, 364M di parametri e 12 lingue in un solo modello: sintesi vocale in locale con un file GGUF da 332 MB, senza GPU. Il runtime C++ NeMo-Speech.cpp porta da zero al primo audio in tre comandi; le cinque voci sono le stesse in tutte le lingue, e per una voce italiana nativa Piper resta davanti.

MiniCPM-V 4.7: il MoE da 35B che gira sullo smartphone con 3 GB di RAM
MiniCPM-V 4.7 (35B totali, ~3B attivi, rilasciato il 12 ottobre 2026 da OpenBMB e ModelBest) è il primo MoE open della serie, visivo-linguistico: immagini multiple, video, OCR. 13+ tok/s con 3 GB di RAM su iPhone 17 Pro Max, 17+ su Android. Quantizzazioni ufficiali BF16, FP8, INT4, AWQ, GPTQ, GGUF; motore Ollama, llama.cpp, vLLM, SGLang. Le tre tecniche: Lookahead Expert Scheduling, quantizzazione fine per livello, campionamento speculativo DSpark.

Mac Studio M5 Ultra: guida pratica a 512GB - modelli che ci stanno e setup GGUF
Cosa ci sta davvero nel Mac Studio M5 Ultra da 512GB: la regola dei 4 bit per i MoE (attivi vs totali), tre vie di setup GGUF (Ollama, LM Studio, llama.cpp), perché la KV cache è il vero collo di bottiglia e quando i 9.999 USD si ripagano rispetto alle API.

GGUF: il formato che fa stare i modelli sul tuo hardware
GGUF è il formato a file singolo che distribuisce i modelli per l'inferenza locale: header con firma e versione, metadati chiave-valore, indice dei tensor e pesi allineati per il caricamento rapido via mmap. Tipi di quantizzazione con dimensioni reali (8B da 14.96 GiB a F16 a 4.58 GiB a Q4_K_M), convenzione sui nomi e regola per scegliere la dimensione rispetto a VRAM o RAM.

Quantizzazione: ottenere di più dallo stesso hardware
La quantizzazione riduce la precisione dei pesi (da FP16 a 4-8 bit) per far entrare i modelli in meno VRAM e generare più token al secondo. Livelli, dimensioni reali di Qwen2.5 14B, regola di scelta da Q4_K_M e limiti (codice, ragionamento, lingue diverse dall'inglese).

