Blog
Articoli, guide e approfondimenti sull'intelligenza artificiale locale
22 articoli trovati per "hardware"

Qwen3.8-2.4T-A95B: i conti per girare 2,4 trilioni di parametri open-weight, con 95B attivi
Il primo modello della classe Qwen-Max in open-weight (2,4T parametri, 95B attivi) supera qualsiasi nodo consumer: i calcoli per pesi, hardware multi-nodo, ammortamento su 36 mesi e costi di corrente, e quando ha senso farlo in locale.

Cosmos 3 Edge: la policy DROID per la robotica che gira sull'edge
Cosmos3-Edge-Policy-DROID: la policy robotica da 4B di NVIDIA. Quanto hardware serve per farla girare in tempo reale sul Jetson, e dove si ferma.

Da dove imparano i modelli locali: i pesi aperti spiegati senza fuffa
Il modello non si aggancia a internet per le capacità: le ha assorbite una volta al pre-training e le esegue sul tuo hardware. Pesi aperti non è dati aperti, e i modelli vengono da molti lab, non da uno solo.

Nemotron-Parse: la famiglia OCR di NVIDIA per leggere i documenti in locale
Nemotron Parse è la famiglia di modelli vision-encoder-decoder di NVIDIA che legge i PDF in locale: markdown formattato, formule LaTeX, coordinate e classe semantica di ogni elemento, nell'ordine di lettura. v1.1 (nov 2025), v1.2 (feb 2026) e 2.0 (giu 2026), tutte sotto il miliardo di parametri e rieditate il 20 ottobre; la 2.0 sale a 0.72 di ANLS sulle scritture indiche. In locale con vLLM da v0.20 a v0.26: i documenti restano sul tuo hardware.

Mac Studio M5 Ultra: guida pratica a 512GB - modelli che ci stanno e setup GGUF
Cosa ci sta davvero nel Mac Studio M5 Ultra da 512GB: la regola dei 4 bit per i MoE (attivi vs totali), tre vie di setup GGUF (Ollama, LM Studio, llama.cpp), perché la KV cache è il vero collo di bottiglia e quando i 9.999 USD si ripagano rispetto alle API.

Ling 3.1 Flash: 560B open-weight con licenza MIT, 1M di contesto - cosa cambia per chi ha 24GB di VRAM
Ling 3.1 Flash di inclusionAI: MoE ibrido 560B totali / 25B attivi, contesto nativo 1M token, checkpoint FP8, licenza MIT. Cosa significa concretamente per chi ha 24GB di VRAM: quantaggi, parallelismo e costi API.

Kolibri di Aleph Alpha: il MoE da 78B che gira (quasi) in locale
Kolibri (78.1B/3.46B, Apache 2.0, FP8) di Aleph Alpha è il MoE europeo open-weight: reasoning, tool calling e contesto fino a 1M token. In FP8 pesa ~78GB di VRAM: gira su RTX 5090 32GB + RAM condivisa o su Mac a memoria unificata; per l'adozione pratica mancano ancora l'architettura kolibri1 in llama.cpp e i build di Ollama/LM Studio.

Mac Studio M5 Ultra: 512GB di memoria unificata sul desktop
Quattro die, 512GB di memoria unificata a 1,2 TB/s: il Mac Studio M5 Ultra porta i modelli MoE da 100 a 560B in locale. I conti sulla velocità, il confronto di costo con la DGX Station e quando il Mac è la scelta giusta.

Quanto costa un token: cinque strade, i conti e il punto di pareggio
Frontier API, abbonamento, provider di inferenza, GPU in noleggio o hardware tuo: cinque strade per generare token, coi costi reali al mese, il conto della corrente e il punto di pareggio calcolato.

Memoria unificata: da Strix Halo a Mac Studio M5 Ultra, quanto ci sta e a che velocità
128GB o 512GB di memoria condivisa tra CPU e GPU: tre piattaforme reali, la banda passante che decide la velocità, e i conti su cosa ci sta dentro e per chi ha senso.

Modelli di immagini in locale: da SDXL a Qwen-Image
Dai 2,6B parametri di SDXL ai 7B di Qwen-Image 2.1: come funzionano i diffusion model, quanti GB di VRAM servono davvero e quale modello scegliere per il tuo hardware.

La voce locale: da Whisper al text-to-speech
Come costruire una pipeline di voce completamente locale: trascrizione con Whisper, sintesi con Piper o Kokoro-82M, requisiti hardware e casi d'uso pratici.

GGUF: il formato che fa stare i modelli sul tuo hardware
GGUF è il formato a file singolo che distribuisce i modelli per l'inferenza locale: header con firma e versione, metadati chiave-valore, indice dei tensor e pesi allineati per il caricamento rapido via mmap. Tipi di quantizzazione con dimensioni reali (8B da 14.96 GiB a F16 a 4.58 GiB a Q4_K_M), convenzione sui nomi e regola per scegliere la dimensione rispetto a VRAM o RAM.

Quantizzazione: ottenere di più dallo stesso hardware
La quantizzazione riduce la precisione dei pesi (da FP16 a 4-8 bit) per far entrare i modelli in meno VRAM e generare più token al secondo. Livelli, dimensioni reali di Qwen2.5 14B, regola di scelta da Q4_K_M e limiti (codice, ragionamento, lingue diverse dall'inglese).

Quando un modello grande non serve: scegliere per dimensione
Il metodo per scegliere la dimensione del modello in base all'hardware: i tre limiti (memoria, velocità, latenza percepita), la tabella VRAM per quantizzazione Q4, le classi per hardware e i casi in cui il modello piccolo vince.

Mistral vs Gemma: modelli leggeri confrontati
Confronto completo tra le famiglie di modelli aperti Mistral e Gemma: dimensioni, VRAM necessaria, contesto, lingue supportate e licenze, con un metodo pratico per scegliere il modello giusto per il tuo hardware.

IA locale per la tua attività: 5 casi d'uso pratici
Cinque casi d'uso pratici dell'IA locale per le aziende: supporto clienti, documenti, ricerca interna, CRM e generazione — con i tool, l'hardware minimo e un piano di start in 30 minuti.

GPU o CPU: quando la CPU basta
Come funzionano prefill e decode, cosa conta per la velocità (la banda di memoria), i numeri reali su un notebook comune, i casi in cui la CPU basta e quando serve la VRAM — con i comandi per misurarlo.

Llama 3 e Llama 4: la famiglia open di Meta, quale modello gira sul vostro hardware
Llama 3 e 4 in tabella: 3B/8B/70B e Scout MoE 109B, RAM necessaria per modello, licenza Community e la scelta per budget.

Hardware per IA Locale: Cosa Serve Nel 2026
La regola di memoria (pesi + KV cache), i prezzi reali di ottobre 2026 per GPU, Apple Silicon e CPU, il conto in 36 mesi e la scelta per budget.

Come Eseguire Modelli LLM Localmente: dal Primo Install al Primo Modello
Scoprite come installare e utilizzare grandi modelli linguistici sul vostro computer, senza dipendere da servizi cloud.

IA Locale su Raspberry Pi: Guida Completa
Dal primo install al modello che risponde su un Pi 5: prezzi reali 2026, la formula tok/s = banda ÷ file, il conto di corrente e i trucchi che contano.

