Blog
Articoli, guide e approfondimenti sull'intelligenza artificiale locale
8 articoli trovati per "llm"

Secret Guard e i gateway LLM locali: proteggere i segreti quando l'agente li usa
Secret Guard è un gateway in Rust, open source, che intercetta le richieste del tuo agente e sostituisce i segreti con dei mock prima che arrivino al provider: il modello non li vede mai, e il valore reale torna all'agente.

Nemotron 3.5 Bolt: il MoE da 74B di NVIDIA con ~9B attivi, cosa cambia sul desktop
74B di parametri, 9B attivi: il MoE di NVIDIA per gli agenti in locale sta in 24GB di VRAM con la quantizzazione IQ2. VRAM reale, benchmark dichiarati e limiti onesti.

Nemotron-Parse: la famiglia OCR di NVIDIA per leggere i documenti in locale
Nemotron Parse è la famiglia di modelli vision-encoder-decoder di NVIDIA che legge i PDF in locale: markdown formattato, formule LaTeX, coordinate e classe semantica di ogni elemento, nell'ordine di lettura. v1.1 (nov 2025), v1.2 (feb 2026) e 2.0 (giu 2026), tutte sotto il miliardo di parametri e rieditate il 20 ottobre; la 2.0 sale a 0.72 di ANLS sulle scritture indiche. In locale con vLLM da v0.20 a v0.26: i documenti restano sul tuo hardware.

MiniCPM-V 4.7: il MoE da 35B che gira sullo smartphone con 3 GB di RAM
MiniCPM-V 4.7 (35B totali, ~3B attivi, rilasciato il 12 ottobre 2026 da OpenBMB e ModelBest) è il primo MoE open della serie, visivo-linguistico: immagini multiple, video, OCR. 13+ tok/s con 3 GB di RAM su iPhone 17 Pro Max, 17+ su Android. Quantizzazioni ufficiali BF16, FP8, INT4, AWQ, GPTQ, GGUF; motore Ollama, llama.cpp, vLLM, SGLang. Le tre tecniche: Lookahead Expert Scheduling, quantizzazione fine per livello, campionamento speculativo DSpark.

Modelli di decisione in locale: JEV-35B e il System 1 da 3B attivi
Non serve un LLM grande per decidere. JEV-35B (35B, 3B attivi) in NVFP4 su una GPU da 32 GB e ej (11,4 MB) su CPU mostrano come fare routing, classificazione e controllo qualità senza generare un solo token.

L'italiano nei modelli locali: cosa aspettarsi
Quanti modelli locali reggono davvero l'italiano? I numeri dei vendor, dove sbagliano, e il metodo in mezz'ora per misurarli tu stesso.

vLLM: servire modelli veloci
vLLM è il motore open source che trasforma un modello locale in un server concorrente: PagedAttention, continuous batching, installazione e i concetti chiave per scegliere quando usarlo al posto di Ollama.

Come Eseguire Modelli LLM Localmente: dal Primo Install al Primo Modello
Scoprite come installare e utilizzare grandi modelli linguistici sul vostro computer, senza dipendere da servizi cloud.

