Vai al contenuto principale

Blog

Articoli, guide e approfondimenti sull'intelligenza artificiale locale

23 articoli trovati per "llama"

Ollama voice: la sintesi vocale locale, dalla riga di comando all'API OpenAI
Casi d’usoPrincipiante

Ollama voice: la sintesi vocale locale, dalla riga di comando all'API OpenAI

Phonon porta la sintesi vocale nel server Ollama: un comando per parlare, endpoint OpenAI-compatibile e lettura in streaming della risposta, 35% più veloce del runtime di riferimento su M5 Max.

iaLocale Team
17 novembre 2026
Yzma: embedding fino a 2,6x più veloci di Ollama, il confronto
ConfrontiIntermedio

Yzma: embedding fino a 2,6x più veloci di Ollama, il confronto

Yzma chiama llama.cpp dentro al processo: niente server, niente round trip. Su embedding è 2,6x più rapido di Ollama — con i numeri, il calcolo e il setup.

iaLocale Team
7 novembre 2026
ML Drift: il motore GPU on-device open source di Google, e quando batte i generalisti
ConfrontiIntermedio

ML Drift: il motore GPU on-device open source di Google, e quando batte i generalisti

Il motore che fa girare i modelli dentro Chrome e YouTube, ora è open source: architettura, numeri di benchmark e il confronto onesto con Ollama e llama.cpp.

iaLocale Team
3 novembre 2026
Agenti ML che girano in locale: MLExpert ed EpochGo su Ollama, costi API zero
Casi d’usoIntermedio

Agenti ML che girano in locale: MLExpert ed EpochGo su Ollama, costi API zero

MLExpert alza l'asticella a 35B e 72,7% di medaglie; EpochGo porta tre agenti AutoML su un 16 GB, zero API: cosa funziona oggi, i conti e i limiti.

iaLocale Team
26 ottobre 2026
MiniCPM-V 4.7: il MoE da 35B che gira sullo smartphone con 3 GB di RAM
ModelliIntermedio

MiniCPM-V 4.7: il MoE da 35B che gira sullo smartphone con 3 GB di RAM

MiniCPM-V 4.7 (35B totali, ~3B attivi, rilasciato il 12 ottobre 2026 da OpenBMB e ModelBest) è il primo MoE open della serie, visivo-linguistico: immagini multiple, video, OCR. 13+ tok/s con 3 GB di RAM su iPhone 17 Pro Max, 17+ su Android. Quantizzazioni ufficiali BF16, FP8, INT4, AWQ, GPTQ, GGUF; motore Ollama, llama.cpp, vLLM, SGLang. Le tre tecniche: Lookahead Expert Scheduling, quantizzazione fine per livello, campionamento speculativo DSpark.

iaLocale Team
21 ottobre 2026
Mac Studio M5 Ultra: guida pratica a 512GB - modelli che ci stanno e setup GGUF
GuideAvanzato

Mac Studio M5 Ultra: guida pratica a 512GB - modelli che ci stanno e setup GGUF

Cosa ci sta davvero nel Mac Studio M5 Ultra da 512GB: la regola dei 4 bit per i MoE (attivi vs totali), tre vie di setup GGUF (Ollama, LM Studio, llama.cpp), perché la KV cache è il vero collo di bottiglia e quando i 9.999 USD si ripagano rispetto alle API.

iaLocale Team
20 ottobre 2026
Kolibri di Aleph Alpha: il MoE da 78B che gira (quasi) in locale
ModelliIntermedio

Kolibri di Aleph Alpha: il MoE da 78B che gira (quasi) in locale

Kolibri (78.1B/3.46B, Apache 2.0, FP8) di Aleph Alpha è il MoE europeo open-weight: reasoning, tool calling e contesto fino a 1M token. In FP8 pesa ~78GB di VRAM: gira su RTX 5090 32GB + RAM condivisa o su Mac a memoria unificata; per l'adozione pratica mancano ancora l'architettura kolibri1 in llama.cpp e i build di Ollama/LM Studio.

iaLocale Team
18 ottobre 2026
Ollama vs llama.cpp: sotto il cofano
ConfrontiIntermedio

Ollama vs llama.cpp: sotto il cofano

Ollama usa llama.cpp sotto il cofano, ma non è la stessa cosa: uno è il motore, l'altro la macchina. Cosa c'è davvero sotto, quando la differenza conta e come scegliere senza slogan.

iaLocale Team
7 ottobre 2026
Privacy: cosa gira davvero in rete quando l'IA è locale
PrivacyIntermedio

Privacy: cosa gira davvero in rete quando l'IA è locale

I tuoi dati non lasciano la macchina — quasi. Ecco cosa parte davvero in rete con Ollama e LM Studio, e come verificarlo in mezz'ora con tcpdump, Wireshark e mitmproxy.

iaLocale Team
3 ottobre 2026
Modello senza GPU: quando la CPU basta davvero
HardwareIntermedio

Modello senza GPU: quando la CPU basta davvero

Nel 2026 l'inferenza su sola CPU non è più un ripiego: quando funziona davvero, a quale velocità arrivare e quali leve tirare per strizzare al massimo il processore.

iaLocale Team
2 ottobre 2026
KV cache: perché la RAM serve più del solo modello
FondamentiIntermedio

KV cache: perché la RAM serve più del solo modello

Cos'è la KV cache, la formula per calcolarla con i numeri di Llama 3.1 8B e Qwen3 8B, e le tre leve per gestirla: contesto, quantizzazione e flash attention.

iaLocale Team
1 ottobre 2026
GGUF: il formato che fa stare i modelli sul tuo hardware
ModelliIntermedio

GGUF: il formato che fa stare i modelli sul tuo hardware

GGUF è il formato a file singolo che distribuisce i modelli per l'inferenza locale: header con firma e versione, metadati chiave-valore, indice dei tensor e pesi allineati per il caricamento rapido via mmap. Tipi di quantizzazione con dimensioni reali (8B da 14.96 GiB a F16 a 4.58 GiB a Q4_K_M), convenzione sui nomi e regola per scegliere la dimensione rispetto a VRAM o RAM.

iaLocale Team
30 settembre 2026
Fine-tuning: adattare un modello ai tuoi dati con LoRA e QLoRA
GuideIntermedio

Fine-tuning: adattare un modello ai tuoi dati con LoRA e QLoRA

Fine-tuning con LoRA e QLoRA: quando serve davvero, come preparare 100-500 esempi di qualità, quanta VRAM serve (8-12 GB in QLoRA per un 7B) e quali strumenti usare in locale: LLaMA-Factory, Unsloth, MLX.

iaLocale Team
29 settembre 2026
IA locale per la tua attività: 5 casi d'uso pratici
Casi d’usoPrincipiante

IA locale per la tua attività: 5 casi d'uso pratici

Cinque casi d'uso pratici dell'IA locale per le aziende: supporto clienti, documenti, ricerca interna, CRM e generazione — con i tool, l'hardware minimo e un piano di start in 30 minuti.

iaLocale Team
22 settembre 2026
GPU o CPU: quando la CPU basta
HardwareIntermedio

GPU o CPU: quando la CPU basta

Come funzionano prefill e decode, cosa conta per la velocità (la banda di memoria), i numeri reali su un notebook comune, i casi in cui la CPU basta e quando serve la VRAM — con i comandi per misurarlo.

iaLocale Team
21 settembre 2026
vLLM: servire modelli veloci
GuideAvanzato

vLLM: servire modelli veloci

vLLM è il motore open source che trasforma un modello locale in un server concorrente: PagedAttention, continuous batching, installazione e i concetti chiave per scegliere quando usarlo al posto di Ollama.

iaLocale Team
20 settembre 2026
Qwen: il modello open con il miglior supporto multilingua
ModelliPrincipiante

Qwen: il modello open con il miglior supporto multilingua

Qwen è la famiglia open con il miglior supporto per italiano e francese: generazioni, dimensioni, MoE, quando usarlo e confronto rapido con Llama.

iaLocale Team
19 settembre 2026
Open WebUI: l'interfaccia per la tua IA locale
GuideIntermedio

Open WebUI: l'interfaccia per la tua IA locale

Open WebUI è l'interfaccia web completa per i tuoi modelli locali: installazione Docker, connessione a Ollama, personalizzazione per modello, RAG con documenti e limiti onesti.

iaLocale Team
18 settembre 2026
IA locale su Mac: la guida completa Apple Silicon
GuideIntermedio

IA locale su Mac: la guida completa Apple Silicon

Il Mac è la macchina più semplice per lanciare l'IA locale: niente GPU da scegliere, niente driver da configurare. Quanta RAM ti serve, quale modello per la tua Apple Silicon e quali velocità aspettarti.

iaLocale Team
10 settembre 2026
Cos'è l'IA locale e perché ti serve
FondamentiPrincipiante

Cos'è l'IA locale e perché ti serve

Cos'è l'IA locale e in che cosa si distingue dal cloud: vantaggi concreti (funziona offline, privacy, costi prevedibili, controllo completo), limiti onesti e come iniziare in cinque minuti con Ollama.

iaLocale Team
8 settembre 2026
Llama 3 e Llama 4: la famiglia open di Meta, quale modello gira sul vostro hardware
ModelliPrincipiante

Llama 3 e Llama 4: la famiglia open di Meta, quale modello gira sul vostro hardware

Llama 3 e 4 in tabella: 3B/8B/70B e Scout MoE 109B, RAM necessaria per modello, licenza Community e la scelta per budget.

iaLocale Team
10 giugno 2026
Come Eseguire Modelli LLM Localmente: dal Primo Install al Primo Modello
GuideIntermedio

Come Eseguire Modelli LLM Localmente: dal Primo Install al Primo Modello

Scoprite come installare e utilizzare grandi modelli linguistici sul vostro computer, senza dipendere da servizi cloud.

iaLocale Team
10 giugno 2026
Ollama vs LM Studio: Quale Tool Scegliere per l'IA Locale
ConfrontiIntermedio

Ollama vs LM Studio: Quale Tool Scegliere per l'IA Locale

Ollama per server e script, LM Studio per esplorazione desktop: tabella comparativa, le due API (11434/1234) e il caso reale di chi li usa insieme.

iaLocale Team
9 giugno 2026