Blog
Articoli, guide e approfondimenti sull'intelligenza artificiale locale
3 articoli trovati per "llm"

Nemotron 3.5 Bolt: il MoE da 74B di NVIDIA con ~9B attivi, cosa cambia sul desktop
74B di parametri, 9B attivi: il MoE di NVIDIA per gli agenti in locale sta in 24GB di VRAM con la quantizzazione IQ2. VRAM reale, benchmark dichiarati e limiti onesti.

MiniCPM-V 4.7: il MoE da 35B che gira sullo smartphone con 3 GB di RAM
MiniCPM-V 4.7 (35B totali, ~3B attivi, rilasciato il 12 ottobre 2026 da OpenBMB e ModelBest) è il primo MoE open della serie, visivo-linguistico: immagini multiple, video, OCR. 13+ tok/s con 3 GB di RAM su iPhone 17 Pro Max, 17+ su Android. Quantizzazioni ufficiali BF16, FP8, INT4, AWQ, GPTQ, GGUF; motore Ollama, llama.cpp, vLLM, SGLang. Le tre tecniche: Lookahead Expert Scheduling, quantizzazione fine per livello, campionamento speculativo DSpark.

L'italiano nei modelli locali: cosa aspettarsi
Quanti modelli locali reggono davvero l'italiano? I numeri dei vendor, dove sbagliano, e il metodo in mezz'ora per misurarli tu stesso.

