Blog
Articoli, guide e approfondimenti sull'intelligenza artificiale locale
9 articoli trovati per "modelli"

Nemotron-Parse: la famiglia OCR di NVIDIA per leggere i documenti in locale
Nemotron Parse è la famiglia di modelli vision-encoder-decoder di NVIDIA che legge i PDF in locale: markdown formattato, formule LaTeX, coordinate e classe semantica di ogni elemento, nell'ordine di lettura. v1.1 (nov 2025), v1.2 (feb 2026) e 2.0 (giu 2026), tutte sotto il miliardo di parametri e rieditate il 20 ottobre; la 2.0 sale a 0.72 di ANLS sulle scritture indiche. In locale con vLLM da v0.20 a v0.26: i documenti restano sul tuo hardware.

gpt-oss: il modello di ragionamento open di OpenAI
21B di parametri totali ma solo 3,6B attivi, pesi nativi in MXFP4 e 128K di contesto: il primo modello di ragionamento open di OpenAI sta in 16GB. Cosa significa in pratica.

Modelli di immagini in locale: da SDXL a Qwen-Image
Dai 2,6B parametri di SDXL ai 7B di Qwen-Image 2.1: come funzionano i diffusion model, quanti GB di VRAM servono davvero e quale modello scegliere per il tuo hardware.

L'italiano nei modelli locali: cosa aspettarsi
Quanti modelli locali reggono davvero l'italiano? I numeri dei vendor, dove sbagliano, e il metodo in mezz'ora per misurarli tu stesso.

GGUF: il formato che fa stare i modelli sul tuo hardware
GGUF è il formato a file singolo che distribuisce i modelli per l'inferenza locale: header con firma e versione, metadati chiave-valore, indice dei tensor e pesi allineati per il caricamento rapido via mmap. Tipi di quantizzazione con dimensioni reali (8B da 14.96 GiB a F16 a 4.58 GiB a Q4_K_M), convenzione sui nomi e regola per scegliere la dimensione rispetto a VRAM o RAM.

Quantizzazione: ottenere di più dallo stesso hardware
La quantizzazione riduce la precisione dei pesi (da FP16 a 4-8 bit) per far entrare i modelli in meno VRAM e generare più token al secondo. Livelli, dimensioni reali di Qwen2.5 14B, regola di scelta da Q4_K_M e limiti (codice, ragionamento, lingue diverse dall'inglese).

Quando un modello grande non serve: scegliere per dimensione
Il metodo per scegliere la dimensione del modello in base all'hardware: i tre limiti (memoria, velocità, latenza percepita), la tabella VRAM per quantizzazione Q4, le classi per hardware e i casi in cui il modello piccolo vince.

Come leggere le specifiche di un modello: famiglia, dimensione, contesto
Guida alla lettura delle specifiche di un modello: famiglia, dimensione totale e attiva, finestra di contesto, quantizzazione, benchmark e licenza, con un esempio su DeepSeek V4.1 Flash.

Qwen: il modello open con il miglior supporto multilingua
Qwen è la famiglia open con il miglior supporto per italiano e francese: generazioni, dimensioni, MoE, quando usarlo e confronto rapido con Llama.

