Notizie

Tool Open Source (Rust) che fa da gateway locale: sostituisce i segreti in uscita con mock realistici della stessa lunghezza e li ripristina in entrata, così l'LLM non tocca mai un valore reale. Integrazione in una riga. Da verificare con il progetto primario.

LLMspeed è un tool Open Source (showcase Hacker News) che stima la velocità di Inferenza di oltre 250 combinazioni modello/hardware: RTX 3060 a H100, Mac Studio M5 Ultra, CPU-only. Le stime misurate vengono da Benchmark della community (r/LocalLLaMA, localscore.ai), le altre sono derivate da configurazioni simili o proiettate dalle specifiche. Utile per decidere l'hardware prima di spendere.

sift è uno strumento Python a dipendenza zero che rileva il tipo di un file per contenuto (non solo estensione), ne estrae la struttura e chiede a un LLM locale — Ollama, LM Studio o MLX-LM — di classificarlo e riassumerlo. Nulla lascia la macchina; misura i numeri da solo e segnala i file che parlano all'assistente.

Il build b11716 aggiunge al backend Hexagon (NPU Snapdragon) il supporto alle quantizzazioni Q1_0 e Q2_0, estendendo l'Inferenza su NPU mobile ai quantaggi più aggressivi. Rilascio pre, 17 ottobre.

Un indice online raccoglie i modelli locali e indica quali girano sulla tua macchina in base a RAM e VRAM disponibili: utile prima di acquistare hardware per l'IA locale.

Da quando gli assistenti di IA sono entrati nell'uso quotidiano, i patch del kernel Linux con contributi di IA/LLM dovevano dichiararlo con il tag «Assisted-by:». Con l'uso ormai ubiquo di questi strumenti, gli sviluppatori del kernel valutano di eliminare l'obbligo — la dichiarazione diventa una scelta, non un requisito.

Un progetto GitHub che esegue workflow AutoML multi-agente interamente su Ollama, senza chiamate API né cloud. Verificato alla fonte primaria; progetto iniziale (segnale HN basso).

Uno strumento Open Source che schedula più LLM locali sullo stesso GPU, evitando che si contendano la VRAM a turno. Utile per chi fa girare più modelli (un assistente, un embedder, un classificatore) sulla stessa scheda e vuole latenze prevedibili.

Un articolo ben argomentato spiega perché un modello locale che si blocca, ignora il System prompt o continua a generare oltre la risposta è quasi sempre un problema del chat template o dei metadati Token nel file GGUF, non dei pesi: e come correggerli con GGUF-surgeon senza ri-quantizzare.

Un proxy di routing Open Source (Apache 2.0) che fa da cascata per i modelli LLM: parte dal modello locale su Ollama e sale verso il cloud solo quando serve, con caching semantico e tracciamento dell'affidabilità per ogni hop. Un pattern interessante per chi vuole il locale per default.

Lanciato su Hacker News (YC S25), Magnitude è un motore di Inferenza in Rust che compila e ottimizza i kernel direttamente sull'hardware di destinazione. Sugli modelli open dichiara velocità fino a 2× rispetto a llama.cpp, su Apple Silicon, NVIDIA, AMD e CPU. Verificato sul repository ufficiale.

La versione 0.34.0 di Ollama permette di usare i modelli locali direttamente in ChatGPT Desktop su macOS, migliora le prestazioni dell'output strutturato su Apple Silicon e aggiunge ricerca dei tool client e compattazione delle risposte nell'API compatibile OpenAI.

L'app Ollama segue di nuovo l'aspetto di sistema ripristinando la dark mode, l'istanza macOS già aperta non viene più duplicata e il proxy per Claude Desktop non interrompe le richieste in corso quando il catalogo modelli si aggiorna.

La release introduce la configurazione di Claude Desktop con Ollama come provider gateway di terze parti, oltre a miglioramenti significativi alla caching: i restore point del Prefill rendono i retry molto più efficienti e risolvono un hang con i client che cancellano i Prefill lunghi.

La release di Ollama introduce il supporto per nuovi modelli Open Source e un miglioramento misurabile delle prestazioni di Inferenza. Consiglio: dopo ogni aggiornamento, riavvia il server e verifica i modelli con `Ollama list`.