Blog
Articoli, guide e approfondimenti sull'intelligenza artificiale locale
44 articoli trovati per "Locale"

Qwen3.8-2.4T-A95B: i conti per girare 2,4 trilioni di parametri open-weight, con 95B attivi
Il primo modello della classe Qwen-Max in open-weight (2,4T parametri, 95B attivi) supera qualsiasi nodo consumer: i calcoli per pesi, hardware multi-nodo, ammortamento su 36 mesi e costi di corrente, e quando ha senso farlo in locale.

Turnbook: la memoria locale per gli agenti di coding, senza una chiamata al modello
Ogni conversazione salvata parola per parola in un file SQLite, senza una sola chiamata al modello: la ricerca gira con embedding locali e il recupero costa 3,1k token. 91,8% su LongMemEval, zero token per salvare.

Ripple-65B: un dense da 64,8B in Apache-2.0, i conti per girarlo in locale
64,8B di parametri, Apache 2.0, 1M di contesto e un checkpoint NVFP4 pensato per 128 GB di memoria unificata: i conti e i criteri per girare un dense da frontier in locale.

Ollama voice: la sintesi vocale locale, dalla riga di comando all'API OpenAI
Phonon porta la sintesi vocale nel server Ollama: un comando per parlare, endpoint OpenAI-compatibile e lettura in streaming della risposta, 35% più veloce del runtime di riferimento su M5 Max.

SynthAPI: ambienti sintetici e scaling laws per allenare agenti tool-use
Ambienti sintetici con fallimenti regolati per allenare agenti tool-use in locale: le scaling laws di SynthAPI e i conti — ~€1,6 di energia contro ~€158 di API per 10.000 task.

Cosmos3-H-Dreams: la simulazione chirurgica in tempo reale di NVIDIA, e la robotica in locale
Un modello di mondo da 15B che genera in tempo reale il video di un intervento robotico su una singola GPU: cosa cambia per la robotica in locale.

Cosmos3-Nano-Sim-Auto: il world model di NVIDIA da 16B che simula la guida in tempo reale, in locale
Un world model da 16B che genera fino a 11 telecamere e una nuvola LiDAR sincronizzate: cosa produce, come chiude il loop, e cosa significa davvero girarlo in locale.

Nemotron 3.5 Bolt: il MoE da 74B di NVIDIA con ~9B attivi, cosa cambia sul desktop
74B di parametri, 9B attivi: il MoE di NVIDIA per gli agenti in locale sta in 24GB di VRAM con la quantizzazione IQ2. VRAM reale, benchmark dichiarati e limiti onesti.

Text-to-SQL locale: interrogare il database aziendale senza spedire i dati in cloud
Modello in locale, schema al modello, esecuzione sul tuo database: il text-to-SQL in casa, numeri dal benchmark ARCS e dove si rompe davvero.

Frontier vs IA locale: il confronto onesto che nessuno fa
I modelli frontier sono ancora più potenti sui casi complessi, ma il costo è l'ultima cosa che decide: tabella, punto di pareggio e la risposta onesta a "prepaghi e poi viaggi gratis?".

Immagini in locale: ComfyUI 0.40 e comfy_attention - nuovo per tutti i modelli
ComfyUI 0.40 estende comfy_attention a tutti i modelli con kernel selezionabili per modello e via LoRA, attiva di default il sistema di asset con API locale e standardizza l'output 3D; la tabella VRAM resta il riferimento per la scelta.

Agenti ML che girano in locale: MLExpert ed EpochGo su Ollama, costi API zero
MLExpert alza l'asticella a 35B e 72,7% di medaglie; EpochGo porta tre agenti AutoML su un 16 GB, zero API: cosa funziona oggi, i conti e i limiti.

Intel e AMD collaborano su PyTorch/oneDNN: cosa cambia per l'IA locale sulle CPU
AMD unifica ZenDNN in oneDNN, Intel unisce le sue estensioni ACE: un solo stack open source per l'accelerazione x86 in PyTorch, già di default. Cosa cambia se fai girare i modelli in locale su CPU.

Nemotron-Parse: la famiglia OCR di NVIDIA per leggere i documenti in locale
Nemotron Parse è la famiglia di modelli vision-encoder-decoder di NVIDIA che legge i PDF in locale: markdown formattato, formule LaTeX, coordinate e classe semantica di ogni elemento, nell'ordine di lettura. v1.1 (nov 2025), v1.2 (feb 2026) e 2.0 (giu 2026), tutte sotto il miliardo di parametri e rieditate il 20 ottobre; la 2.0 sale a 0.72 di ANLS sulle scritture indiche. In locale con vLLM da v0.20 a v0.26: i documenti restano sul tuo hardware.

MagpieTTS 357M: la sintesi vocale in 12 lingue che gira anche su laptop
NVIDIA pubblica MagpieTTS Multilingual, 364M di parametri e 12 lingue in un solo modello: sintesi vocale in locale con un file GGUF da 332 MB, senza GPU. Il runtime C++ NeMo-Speech.cpp porta da zero al primo audio in tre comandi; le cinque voci sono le stesse in tutte le lingue, e per una voce italiana nativa Piper resta davanti.

Mac Studio M5 Ultra: guida pratica a 512GB - modelli che ci stanno e setup GGUF
Cosa ci sta davvero nel Mac Studio M5 Ultra da 512GB: la regola dei 4 bit per i MoE (attivi vs totali), tre vie di setup GGUF (Ollama, LM Studio, llama.cpp), perché la KV cache è il vero collo di bottiglia e quando i 9.999 USD si ripagano rispetto alle API.

Ling 3.1 Flash: 560B open-weight con licenza MIT, 1M di contesto - cosa cambia per chi ha 24GB di VRAM
Ling 3.1 Flash di inclusionAI: MoE ibrido 560B totali / 25B attivi, contesto nativo 1M token, checkpoint FP8, licenza MIT. Cosa significa concretamente per chi ha 24GB di VRAM: quantaggi, parallelismo e costi API.

Kolibri di Aleph Alpha: il MoE da 78B che gira (quasi) in locale
Kolibri (78.1B/3.46B, Apache 2.0, FP8) di Aleph Alpha è il MoE europeo open-weight: reasoning, tool calling e contesto fino a 1M token. In FP8 pesa ~78GB di VRAM: gira su RTX 5090 32GB + RAM condivisa o su Mac a memoria unificata; per l'adozione pratica mancano ancora l'architettura kolibri1 in llama.cpp e i build di Ollama/LM Studio.

Modelli di decisione in locale: JEV-35B e il System 1 da 3B attivi
Non serve un LLM grande per decidere. JEV-35B (35B, 3B attivi) in NVFP4 su una GPU da 32 GB e ej (11,4 MB) su CPU mostrano come fare routing, classificazione e controllo qualità senza generare un solo token.

Mac Studio M5 Ultra: 512GB di memoria unificata sul desktop
Quattro die, 512GB di memoria unificata a 1,2 TB/s: il Mac Studio M5 Ultra porta i modelli MoE da 100 a 560B in locale. I conti sulla velocità, il confronto di costo con la DGX Station e quando il Mac è la scelta giusta.

NVIDIA, AMD e Intel per l'IA locale: quale piattaforma scegliere
CUDA, ROCm o Vulkan? Confrontiamo le tre piattaforme per l'IA locale sulla base di ciò che è davvero disponibile: stack software ufficiali, schede per fascia di VRAM (12, 16 e 24GB) e velocità reali. Dove resta la scelta ovvia, dove AMD batte per rapporto qualità-prezzo e quando ha senso uscire da NVIDIA.

Le schede Blackwell da 16GB: 5060 Ti, 5070, 5070 Ti
Il tier da 16GB di VRAM è il centro di gravità dell'IA locale nel 2026. È la memoria sufficiente per far girare i migliori modelli densi open nei formati Q4 — la classe 27B, il nuovo punto d'equilibrio del catalogo aperto — senza sacrificare troppo contesto, e un prezzo di listino che (a seconda del mese) resta alla portata di un budget personale. La generazione Blackwell offre tre schede esattamente in mezzo a questo tier: RTX 5060 Ti, 5070 e 5070 Ti. Stessa generazione, stessa GDDR7, tre esperienze molto diverse. Oggi le confrontiamo: cosa ti porta realmente ciascuna, e dove va il tuo budget.

Decodifica speculativa e MTP: velocità gratis
La decodifica speculativa rende l'IA locale più veloce senza cambiare la qualità dell'output: un modello bozza i token, il modello grande li verifica. Ecco come funziona il draft-verify, le teste MTP nei modelli Qwen, EAGLE su Mistral Medium 3.5 e come abilitare tutto in tre comandi.

Memoria unificata: da Strix Halo a Mac Studio M5 Ultra, quanto ci sta e a che velocità
128GB o 512GB di memoria condivisa tra CPU e GPU: tre piattaforme reali, la banda passante che decide la velocità, e i conti su cosa ci sta dentro e per chi ha senso.

Modelli di immagini in locale: da SDXL a Qwen-Image
Dai 2,6B parametri di SDXL ai 7B di Qwen-Image 2.1: come funzionano i diffusion model, quanti GB di VRAM servono davvero e quale modello scegliere per il tuo hardware.

Ollama vs llama.cpp: sotto il cofano
Ollama usa llama.cpp sotto il cofano, ma non è la stessa cosa: uno è il motore, l'altro la macchina. Cosa c'è davvero sotto, quando la differenza conta e come scegliere senza slogan.

Costi: locale vs API, fatto coi numeri
Quanto costa davvero il locale rispetto a una API cloud? Prezzi per token verificati, ammortamento GPU, elettricità e il punto di pareggio, calcolato con i numeri.

La voce locale: da Whisper al text-to-speech
Come costruire una pipeline di voce completamente locale: trascrizione con Whisper, sintesi con Piper o Kokoro-82M, requisiti hardware e casi d'uso pratici.

Privacy: cosa gira davvero in rete quando l'IA è locale
I tuoi dati non lasciano la macchina — quasi. Ecco cosa parte davvero in rete con Ollama e LM Studio, e come verificarlo in mezz'ora con tcpdump, Wireshark e mitmproxy.

Modello senza GPU: quando la CPU basta davvero
Nel 2026 l'inferenza su sola CPU non è più un ripiego: quando funziona davvero, a quale velocità arrivare e quali leve tirare per strizzare al massimo il processore.

GGUF: il formato che fa stare i modelli sul tuo hardware
GGUF è il formato a file singolo che distribuisce i modelli per l'inferenza locale: header con firma e versione, metadati chiave-valore, indice dei tensor e pesi allineati per il caricamento rapido via mmap. Tipi di quantizzazione con dimensioni reali (8B da 14.96 GiB a F16 a 4.58 GiB a Q4_K_M), convenzione sui nomi e regola per scegliere la dimensione rispetto a VRAM o RAM.

Fine-tuning: adattare un modello ai tuoi dati con LoRA e QLoRA
Fine-tuning con LoRA e QLoRA: quando serve davvero, come preparare 100-500 esempi di qualità, quanta VRAM serve (8-12 GB in QLoRA per un 7B) e quali strumenti usare in locale: LLaMA-Factory, Unsloth, MLX.

Qwen-Image 2.1: generare e modificare immagini in locale
Qwen-Image 2.1 unifica generazione da testo, editing e trasparenza RGBA in un modello open da 7B (DiT da 32 layer). Setup locale con diffusers, supporto nativo in ComfyUI, esigenze di VRAM (~14GB in bfloat16) e casi d'uso (sticker, foto di prodotto, workflow di design).

RAG: fai domande ai tuoi documenti
RAG, Retrieval Augmented Generation, è il modo più semplice per far rispondere un modello locale a domande sui tuoi documenti: embedding, database vettoriale e ciclo di recupero.

IA locale per la tua attività: 5 casi d'uso pratici
Cinque casi d'uso pratici dell'IA locale per le aziende: supporto clienti, documenti, ricerca interna, CRM e generazione — con i tool, l'hardware minimo e un piano di start in 30 minuti.

vLLM: servire modelli veloci
vLLM è il motore open source che trasforma un modello locale in un server concorrente: PagedAttention, continuous batching, installazione e i concetti chiave per scegliere quando usarlo al posto di Ollama.

Open WebUI: l'interfaccia per la tua IA locale
Open WebUI è l'interfaccia web completa per i tuoi modelli locali: installazione Docker, connessione a Ollama, personalizzazione per modello, RAG con documenti e limiti onesti.

IA locale su Mac: la guida completa Apple Silicon
Il Mac è la macchina più semplice per lanciare l'IA locale: niente GPU da scegliere, niente driver da configurare. Quanta RAM ti serve, quale modello per la tua Apple Silicon e quali velocità aspettarti.

Cos'è l'IA locale e perché ti serve
Cos'è l'IA locale e in che cosa si distingue dal cloud: vantaggi concreti (funziona offline, privacy, costi prevedibili, controllo completo), limiti onesti e come iniziare in cinque minuti con Ollama.

Privacy e GDPR: cosa cambia davvero con l'IA locale
Trasferimenti extra-UE, sub-responsabili e articoli 5, 25, 28, 32, 44: cosa dice davvero il GDPR su cloud e locale, e cosa resta dovuto anche con l'IA in casa.

Hardware per IA Locale: Cosa Serve Nel 2026
La regola di memoria (pesi + KV cache), i prezzi reali di ottobre 2026 per GPU, Apple Silicon e CPU, il conto in 36 mesi e la scelta per budget.

IA Locale su Raspberry Pi: Guida Completa
Dal primo install al modello che risponde su un Pi 5: prezzi reali 2026, la formula tok/s = banda ÷ file, il conto di corrente e i trucchi che contano.

Ollama vs LM Studio: Quale Tool Scegliere per l'IA Locale
Ollama per server e script, LM Studio per esplorazione desktop: tabella comparativa, le due API (11434/1234) e il caso reale di chi li usa insieme.

Come Scegliere il Tuo Primo Modello IA Locale
I tre criteri per scegliere il primo modello locale: caso d'uso, memoria (con la formula esatta) e contesto, coi modelli consigliati per 8, 16 e 24 GB.

