Vai al contenuto principale

Blog

Articoli, guide e approfondimenti sull'intelligenza artificiale locale

11 articoli trovati per "inferenza"

Mistral Large 4 in open-weight: un MoE da 1T (52B attivi) per l'inferenza on-premise
ModelliIntermedio

Mistral Large 4 in open-weight: un MoE da 1T (52B attivi) per l'inferenza on-premise

Mistral ha pubblicato Large 4 in open-weight (1,03T totali, 52B attivi, 1M di contesto, licenza open-weight): un articolo che insegna a leggere le specifiche MoE e a fare i conti di RAM, quantizzazione e velocità per l'inferenza on-premise.

iaLocale Team
14 novembre 2026
ML Drift: il motore GPU on-device open source di Google, e quando batte i generalisti
ConfrontiIntermedio

ML Drift: il motore GPU on-device open source di Google, e quando batte i generalisti

Il motore che fa girare i modelli dentro Chrome e YouTube, ora è open source: architettura, numeri di benchmark e il confronto onesto con Ollama e llama.cpp.

iaLocale Team
3 novembre 2026
Mac Studio M5 Ultra: 512GB di memoria unificata sul desktop
HardwareIntermedio

Mac Studio M5 Ultra: 512GB di memoria unificata sul desktop

Quattro die, 512GB di memoria unificata a 1,2 TB/s: il Mac Studio M5 Ultra porta i modelli MoE da 100 a 560B in locale. I conti sulla velocità, il confronto di costo con la DGX Station e quando il Mac è la scelta giusta.

iaLocale Team
16 ottobre 2026
Quanto costa un token: cinque strade, i conti e il punto di pareggio
ConfrontiIntermedio

Quanto costa un token: cinque strade, i conti e il punto di pareggio

Frontier API, abbonamento, provider di inferenza, GPU in noleggio o hardware tuo: cinque strade per generare token, coi costi reali al mese, il conto della corrente e il punto di pareggio calcolato.

iaLocale Team
15 ottobre 2026
NVIDIA, AMD e Intel per l'IA locale: quale piattaforma scegliere
ConfrontiIntermedio

NVIDIA, AMD e Intel per l'IA locale: quale piattaforma scegliere

CUDA, ROCm o Vulkan? Confrontiamo le tre piattaforme per l'IA locale sulla base di ciò che è davvero disponibile: stack software ufficiali, schede per fascia di VRAM (12, 16 e 24GB) e velocità reali. Dove resta la scelta ovvia, dove AMD batte per rapporto qualità-prezzo e quando ha senso uscire da NVIDIA.

iaLocale Team
14 ottobre 2026
Le schede Blackwell da 16GB: 5060 Ti, 5070, 5070 Ti
HardwareIntermedio

Le schede Blackwell da 16GB: 5060 Ti, 5070, 5070 Ti

Il tier da 16GB di VRAM è il centro di gravità dell'IA locale nel 2026. È la memoria sufficiente per far girare i migliori modelli densi open nei formati Q4 — la classe 27B, il nuovo punto d'equilibrio del catalogo aperto — senza sacrificare troppo contesto, e un prezzo di listino che (a seconda del mese) resta alla portata di un budget personale. La generazione Blackwell offre tre schede esattamente in mezzo a questo tier: RTX 5060 Ti, 5070 e 5070 Ti. Stessa generazione, stessa GDDR7, tre esperienze molto diverse. Oggi le confrontiamo: cosa ti porta realmente ciascuna, e dove va il tuo budget.

iaLocale Team
13 ottobre 2026
Ollama vs llama.cpp: sotto il cofano
ConfrontiIntermedio

Ollama vs llama.cpp: sotto il cofano

Ollama usa llama.cpp sotto il cofano, ma non è la stessa cosa: uno è il motore, l'altro la macchina. Cosa c'è davvero sotto, quando la differenza conta e come scegliere senza slogan.

iaLocale Team
7 ottobre 2026
Modello senza GPU: quando la CPU basta davvero
HardwareIntermedio

Modello senza GPU: quando la CPU basta davvero

Nel 2026 l'inferenza su sola CPU non è più un ripiego: quando funziona davvero, a quale velocità arrivare e quali leve tirare per strizzare al massimo il processore.

iaLocale Team
2 ottobre 2026
KV cache: perché la RAM serve più del solo modello
FondamentiIntermedio

KV cache: perché la RAM serve più del solo modello

Cos'è la KV cache, la formula per calcolarla con i numeri di Llama 3.1 8B e Qwen3 8B, e le tre leve per gestirla: contesto, quantizzazione e flash attention.

iaLocale Team
1 ottobre 2026
GGUF: il formato che fa stare i modelli sul tuo hardware
ModelliIntermedio

GGUF: il formato che fa stare i modelli sul tuo hardware

GGUF è il formato a file singolo che distribuisce i modelli per l'inferenza locale: header con firma e versione, metadati chiave-valore, indice dei tensor e pesi allineati per il caricamento rapido via mmap. Tipi di quantizzazione con dimensioni reali (8B da 14.96 GiB a F16 a 4.58 GiB a Q4_K_M), convenzione sui nomi e regola per scegliere la dimensione rispetto a VRAM o RAM.

iaLocale Team
30 settembre 2026
GPU o CPU: quando la CPU basta
HardwareIntermedio

GPU o CPU: quando la CPU basta

Come funzionano prefill e decode, cosa conta per la velocità (la banda di memoria), i numeri reali su un notebook comune, i casi in cui la CPU basta e quando serve la VRAM — con i comandi per misurarlo.

iaLocale Team
21 settembre 2026