Vai al contenuto principale

Blog

Articoli, guide e approfondimenti sull'intelligenza artificiale locale

16 articoli trovati per "vram"

Nemotron 3.5 Bolt: il MoE da 74B di NVIDIA con ~9B attivi, cosa cambia sul desktop
ModelliIntermedio

Nemotron 3.5 Bolt: il MoE da 74B di NVIDIA con ~9B attivi, cosa cambia sul desktop

74B di parametri, 9B attivi: il MoE di NVIDIA per gli agenti in locale sta in 24GB di VRAM con la quantizzazione IQ2. VRAM reale, benchmark dichiarati e limiti onesti.

iaLocale Team
2 novembre 2026
MOSS-Image: il ripack ComfyUI di OpenMOSS-Team, workflow e requisiti reali
Casi d’usoIntermedio

MOSS-Image: il ripack ComfyUI di OpenMOSS-Team, workflow e requisiti reali

MOSS-Image: il ripack ComfyUI di OpenMOSS-Team, pronto in due cartelle. VRAM reale calcolata per combinazione di pesi, da ~11GB a ~31GB, e i quattro workflow inclusi.

iaLocale Team
31 ottobre 2026
Immagini in locale: ComfyUI 0.40 e comfy_attention - nuovo per tutti i modelli
Casi d’usoIntermedio

Immagini in locale: ComfyUI 0.40 e comfy_attention - nuovo per tutti i modelli

ComfyUI 0.40 estende comfy_attention a tutti i modelli con kernel selezionabili per modello e via LoRA, attiva di default il sistema di asset con API locale e standardizza l'output 3D; la tabella VRAM resta il riferimento per la scelta.

iaLocale Team
27 ottobre 2026
Ling 3.1 Flash: 560B open-weight con licenza MIT, 1M di contesto - cosa cambia per chi ha 24GB di VRAM
ModelliIntermedio

Ling 3.1 Flash: 560B open-weight con licenza MIT, 1M di contesto - cosa cambia per chi ha 24GB di VRAM

Ling 3.1 Flash di inclusionAI: MoE ibrido 560B totali / 25B attivi, contesto nativo 1M token, checkpoint FP8, licenza MIT. Cosa significa concretamente per chi ha 24GB di VRAM: quantaggi, parallelismo e costi API.

iaLocale Team
19 ottobre 2026
Kolibri di Aleph Alpha: il MoE da 78B che gira (quasi) in locale
ModelliIntermedio

Kolibri di Aleph Alpha: il MoE da 78B che gira (quasi) in locale

Kolibri (78.1B/3.46B, Apache 2.0, FP8) di Aleph Alpha è il MoE europeo open-weight: reasoning, tool calling e contesto fino a 1M token. In FP8 pesa ~78GB di VRAM: gira su RTX 5090 32GB + RAM condivisa o su Mac a memoria unificata; per l'adozione pratica mancano ancora l'architettura kolibri1 in llama.cpp e i build di Ollama/LM Studio.

iaLocale Team
18 ottobre 2026
NVIDIA, AMD e Intel per l'IA locale: quale piattaforma scegliere
ConfrontiIntermedio

NVIDIA, AMD e Intel per l'IA locale: quale piattaforma scegliere

CUDA, ROCm o Vulkan? Confrontiamo le tre piattaforme per l'IA locale sulla base di ciò che è davvero disponibile: stack software ufficiali, schede per fascia di VRAM (12, 16 e 24GB) e velocità reali. Dove resta la scelta ovvia, dove AMD batte per rapporto qualità-prezzo e quando ha senso uscire da NVIDIA.

iaLocale Team
14 ottobre 2026
Le schede Blackwell da 16GB: 5060 Ti, 5070, 5070 Ti
HardwareIntermedio

Le schede Blackwell da 16GB: 5060 Ti, 5070, 5070 Ti

Il tier da 16GB di VRAM è il centro di gravità dell'IA locale nel 2026. È la memoria sufficiente per far girare i migliori modelli densi open nei formati Q4 — la classe 27B, il nuovo punto d'equilibrio del catalogo aperto — senza sacrificare troppo contesto, e un prezzo di listino che (a seconda del mese) resta alla portata di un budget personale. La generazione Blackwell offre tre schede esattamente in mezzo a questo tier: RTX 5060 Ti, 5070 e 5070 Ti. Stessa generazione, stessa GDDR7, tre esperienze molto diverse. Oggi le confrontiamo: cosa ti porta realmente ciascuna, e dove va il tuo budget.

iaLocale Team
13 ottobre 2026
Qwen3.8-27B vs Gemma 4 26B A4B: la nuova frontiera a 24GB
ConfrontiIntermedio

Qwen3.8-27B vs Gemma 4 26B A4B: la nuova frontiera a 24GB

Dense da 27,8B o MoE con 3,8B attivi, contesto da 262K contro 256K e quasi lo stesso peso in Q4_K_M: due modi opposti di portare la qualità da modello grande su una scheda consumer da 24GB. Chi va più in fretta, chi va più in profondità, e quando scegliere l'uno o l'altro.

iaLocale Team
9 ottobre 2026
Modelli di immagini in locale: da SDXL a Qwen-Image
ModelliIntermedio

Modelli di immagini in locale: da SDXL a Qwen-Image

Dai 2,6B parametri di SDXL ai 7B di Qwen-Image 2.1: come funzionano i diffusion model, quanti GB di VRAM servono davvero e quale modello scegliere per il tuo hardware.

iaLocale Team
9 ottobre 2026
GGUF: il formato che fa stare i modelli sul tuo hardware
ModelliIntermedio

GGUF: il formato che fa stare i modelli sul tuo hardware

GGUF è il formato a file singolo che distribuisce i modelli per l'inferenza locale: header con firma e versione, metadati chiave-valore, indice dei tensor e pesi allineati per il caricamento rapido via mmap. Tipi di quantizzazione con dimensioni reali (8B da 14.96 GiB a F16 a 4.58 GiB a Q4_K_M), convenzione sui nomi e regola per scegliere la dimensione rispetto a VRAM o RAM.

iaLocale Team
30 settembre 2026
Fine-tuning: adattare un modello ai tuoi dati con LoRA e QLoRA
GuideIntermedio

Fine-tuning: adattare un modello ai tuoi dati con LoRA e QLoRA

Fine-tuning con LoRA e QLoRA: quando serve davvero, come preparare 100-500 esempi di qualità, quanta VRAM serve (8-12 GB in QLoRA per un 7B) e quali strumenti usare in locale: LLaMA-Factory, Unsloth, MLX.

iaLocale Team
29 settembre 2026
Qwen-Image 2.1: generare e modificare immagini in locale
ModelliIntermedio

Qwen-Image 2.1: generare e modificare immagini in locale

Qwen-Image 2.1 unifica generazione da testo, editing e trasparenza RGBA in un modello open da 7B (DiT da 32 layer). Setup locale con diffusers, supporto nativo in ComfyUI, esigenze di VRAM (~14GB in bfloat16) e casi d'uso (sticker, foto di prodotto, workflow di design).

iaLocale Team
28 settembre 2026
Quantizzazione: ottenere di più dallo stesso hardware
ModelliIntermedio

Quantizzazione: ottenere di più dallo stesso hardware

La quantizzazione riduce la precisione dei pesi (da FP16 a 4-8 bit) per far entrare i modelli in meno VRAM e generare più token al secondo. Livelli, dimensioni reali di Qwen2.5 14B, regola di scelta da Q4_K_M e limiti (codice, ragionamento, lingue diverse dall'inglese).

iaLocale Team
28 settembre 2026
Quando un modello grande non serve: scegliere per dimensione
ModelliIntermedio

Quando un modello grande non serve: scegliere per dimensione

Il metodo per scegliere la dimensione del modello in base all'hardware: i tre limiti (memoria, velocità, latenza percepita), la tabella VRAM per quantizzazione Q4, le classi per hardware e i casi in cui il modello piccolo vince.

iaLocale Team
27 settembre 2026
Mistral vs Gemma: modelli leggeri confrontati
ConfrontiPrincipiante

Mistral vs Gemma: modelli leggeri confrontati

Confronto completo tra le famiglie di modelli aperti Mistral e Gemma: dimensioni, VRAM necessaria, contesto, lingue supportate e licenze, con un metodo pratico per scegliere il modello giusto per il tuo hardware.

iaLocale Team
25 settembre 2026
GPU o CPU: quando la CPU basta
HardwareIntermedio

GPU o CPU: quando la CPU basta

Come funzionano prefill e decode, cosa conta per la velocità (la banda di memoria), i numeri reali su un notebook comune, i casi in cui la CPU basta e quando serve la VRAM — con i comandi per misurarlo.

iaLocale Team
21 settembre 2026