Blog
Articoli, guide e approfondimenti sull'intelligenza artificiale locale
11 articoli trovati per "memoria"

Turnbook: la memoria locale per gli agenti di coding, senza una chiamata al modello
Ogni conversazione salvata parola per parola in un file SQLite, senza una sola chiamata al modello: la ricerca gira con embedding locali e il recupero costa 3,1k token. 91,8% su LongMemEval, zero token per salvare.

Ripple-65B: un dense da 64,8B in Apache-2.0, i conti per girarlo in locale
64,8B di parametri, Apache 2.0, 1M di contesto e un checkpoint NVFP4 pensato per 128 GB di memoria unificata: i conti e i criteri per girare un dense da frontier in locale.

Kolibri di Aleph Alpha: il MoE da 78B che gira (quasi) in locale
Kolibri (78.1B/3.46B, Apache 2.0, FP8) di Aleph Alpha è il MoE europeo open-weight: reasoning, tool calling e contesto fino a 1M token. In FP8 pesa ~78GB di VRAM: gira su RTX 5090 32GB + RAM condivisa o su Mac a memoria unificata; per l'adozione pratica mancano ancora l'architettura kolibri1 in llama.cpp e i build di Ollama/LM Studio.

Mac Studio M5 Ultra: 512GB di memoria unificata sul desktop
Quattro die, 512GB di memoria unificata a 1,2 TB/s: il Mac Studio M5 Ultra porta i modelli MoE da 100 a 560B in locale. I conti sulla velocità, il confronto di costo con la DGX Station e quando il Mac è la scelta giusta.

Le schede Blackwell da 16GB: 5060 Ti, 5070, 5070 Ti
Il tier da 16GB di VRAM è il centro di gravità dell'IA locale nel 2026. È la memoria sufficiente per far girare i migliori modelli densi open nei formati Q4 — la classe 27B, il nuovo punto d'equilibrio del catalogo aperto — senza sacrificare troppo contesto, e un prezzo di listino che (a seconda del mese) resta alla portata di un budget personale. La generazione Blackwell offre tre schede esattamente in mezzo a questo tier: RTX 5060 Ti, 5070 e 5070 Ti. Stessa generazione, stessa GDDR7, tre esperienze molto diverse. Oggi le confrontiamo: cosa ti porta realmente ciascuna, e dove va il tuo budget.

Memoria unificata: da Strix Halo a Mac Studio M5 Ultra, quanto ci sta e a che velocità
128GB o 512GB di memoria condivisa tra CPU e GPU: tre piattaforme reali, la banda passante che decide la velocità, e i conti su cosa ci sta dentro e per chi ha senso.

KV cache: perché la RAM serve più del solo modello
Cos'è la KV cache, la formula per calcolarla con i numeri di Llama 3.1 8B e Qwen3 8B, e le tre leve per gestirla: contesto, quantizzazione e flash attention.

Quando un modello grande non serve: scegliere per dimensione
Il metodo per scegliere la dimensione del modello in base all'hardware: i tre limiti (memoria, velocità, latenza percepita), la tabella VRAM per quantizzazione Q4, le classi per hardware e i casi in cui il modello piccolo vince.

GPU o CPU: quando la CPU basta
Come funzionano prefill e decode, cosa conta per la velocità (la banda di memoria), i numeri reali su un notebook comune, i casi in cui la CPU basta e quando serve la VRAM — con i comandi per misurarlo.

Hardware per IA Locale: Cosa Serve Nel 2026
La regola di memoria (pesi + KV cache), i prezzi reali di ottobre 2026 per GPU, Apple Silicon e CPU, il conto in 36 mesi e la scelta per budget.

Come Scegliere il Tuo Primo Modello IA Locale
I tre criteri per scegliere il primo modello locale: caso d'uso, memoria (con la formula esatta) e contesto, coi modelli consigliati per 8, 16 e 24 GB.

