Blog
Articoli, guide e approfondimenti sull'intelligenza artificiale locale
3 articoli trovati per "dimensione"

GGUF: il formato che fa stare i modelli sul tuo hardware
GGUF è il formato a file singolo che distribuisce i modelli per l'inferenza locale: header con firma e versione, metadati chiave-valore, indice dei tensor e pesi allineati per il caricamento rapido via mmap. Tipi di quantizzazione con dimensioni reali (8B da 14.96 GiB a F16 a 4.58 GiB a Q4_K_M), convenzione sui nomi e regola per scegliere la dimensione rispetto a VRAM o RAM.

Quando un modello grande non serve: scegliere per dimensione
Il metodo per scegliere la dimensione del modello in base all'hardware: i tre limiti (memoria, velocità, latenza percepita), la tabella VRAM per quantizzazione Q4, le classi per hardware e i casi in cui il modello piccolo vince.

Come leggere le specifiche di un modello: famiglia, dimensione, contesto
Guida alla lettura delle specifiche di un modello: famiglia, dimensione totale e attiva, finestra di contesto, quantizzazione, benchmark e licenza, con un esempio su DeepSeek V4.1 Flash.

