Vai al contenuto principale

Blog

Articoli, guide e approfondimenti sull'intelligenza artificiale locale

6 articoli trovati per "llm"

Secret Guard e i gateway LLM locali: proteggere i segreti quando l'agente li usa
Casi d’usoIntermedio

Secret Guard e i gateway LLM locali: proteggere i segreti quando l'agente li usa

Secret Guard è un gateway in Rust, open source, che intercetta le richieste del tuo agente e sostituisce i segreti con dei mock prima che arrivino al provider: il modello non li vede mai, e il valore reale torna all'agente.

iaLocale Team
6 novembre 2026
Nemotron 3.5 Bolt: il MoE da 74B di NVIDIA con ~9B attivi, cosa cambia sul desktop
ModelliIntermedio

Nemotron 3.5 Bolt: il MoE da 74B di NVIDIA con ~9B attivi, cosa cambia sul desktop

74B di parametri, 9B attivi: il MoE di NVIDIA per gli agenti in locale sta in 24GB di VRAM con la quantizzazione IQ2. VRAM reale, benchmark dichiarati e limiti onesti.

iaLocale Team
2 novembre 2026
MiniCPM-V 4.7: il MoE da 35B che gira sullo smartphone con 3 GB di RAM
ModelliIntermedio

MiniCPM-V 4.7: il MoE da 35B che gira sullo smartphone con 3 GB di RAM

MiniCPM-V 4.7 (35B totali, ~3B attivi, rilasciato il 12 ottobre 2026 da OpenBMB e ModelBest) è il primo MoE open della serie, visivo-linguistico: immagini multiple, video, OCR. 13+ tok/s con 3 GB di RAM su iPhone 17 Pro Max, 17+ su Android. Quantizzazioni ufficiali BF16, FP8, INT4, AWQ, GPTQ, GGUF; motore Ollama, llama.cpp, vLLM, SGLang. Le tre tecniche: Lookahead Expert Scheduling, quantizzazione fine per livello, campionamento speculativo DSpark.

iaLocale Team
21 ottobre 2026
Modelli di decisione in locale: JEV-35B e il System 1 da 3B attivi
Casi d’usoIntermedio

Modelli di decisione in locale: JEV-35B e il System 1 da 3B attivi

Non serve un LLM grande per decidere. JEV-35B (35B, 3B attivi) in NVFP4 su una GPU da 32 GB e ej (11,4 MB) su CPU mostrano come fare routing, classificazione e controllo qualità senza generare un solo token.

iaLocale Team
17 ottobre 2026
L'italiano nei modelli locali: cosa aspettarsi
ModelliIntermedio

L'italiano nei modelli locali: cosa aspettarsi

Quanti modelli locali reggono davvero l'italiano? I numeri dei vendor, dove sbagliano, e il metodo in mezz'ora per misurarli tu stesso.

iaLocale Team
4 ottobre 2026
Come Eseguire Modelli LLM Localmente: dal Primo Install al Primo Modello
GuideIntermedio

Come Eseguire Modelli LLM Localmente: dal Primo Install al Primo Modello

Scoprite come installare e utilizzare grandi modelli linguistici sul vostro computer, senza dipendere da servizi cloud.

iaLocale Team
10 giugno 2026