Vai al contenuto principale
← Torna alle notizie

Secret Guard: gateway LLM locale che sostituisce i segreti prima di inviarli al provider

Strumenti e rilasci
Fonte:Hacker News
Tool Open Source (Rust) che fa da gateway locale: sostituisce i segreti in uscita con mock realistici della stessa lunghezza e li ripristina in entrata, così l'LLM non tocca mai un valore reale. Integrazione in una riga.
Leggi l'articolo originale

Articoli correlati

Ollama vs LM Studio: Quale Tool Scegliere per l'IA Locale

Ollama per macchine e server (API 11434), LM Studio per esplorare e misurare (server 1234, benchmark integrato): la tabella comparativa, l'API OpenAI-compatibile e il caso reale di chi li usa insieme.

Nemotron-Parse: la famiglia OCR di NVIDIA per leggere i documenti in locale

NVIDIA ha rieditato Nemotron Parse (v1.1, v1.2, 2.0) nella stessa settimana del 20 ottobre: meno di 1 miliardo di parametri, struttura della pagina inclusa. Setup in locale con vLLM e limiti onesti.

Costi: locale vs API, fatto coi numeri

Quanto costa davvero il locale rispetto a una API cloud? Prezzi per token verificati, ammortamento GPU, elettricità e il punto di pareggio, calcolato con i numeri.

Ricevi il prossimo punto sull'IA locale

Ogni settimana, la selezione del meglio di iaLocale: articoli, notizie e risorse sull'IA locale, e altro ancora.

Dopo l'iscrizione ricevi una email di conferma (double opt-in). Senza conferma non inviamo nulla. Nessuno spam, ti promettiamo.

Risorse correlate

Strumenti e risorse dell'archivio iaLocale pertinenti a questo contenuto.

⚡

Magnitude

Inferenza

Motore di inferenza open source (Rust, YC S25) che compila e ottimizza i suoi kernel direttamente sull'hardware di destinazione: Apple Silicon, NVIDIA, AMD o CPU. Sui modelli open dichiara velocità fino a 2× rispetto a llama.cpp. Pensato anche per il serving di agenti.

🤖

OpenAI gpt-oss-20b

Modelli

Il modello di ragionamento open-weight di OpenAI: MoE con 21B di parametri totali e 3,6B attivi (32 esperti, top-4), contesto 128K e quantizzazione MXFP4 nativa. Licenza Apache 2.0: i pesi partono già quantizzati a 4 bit, senza passo di conversione. Sta in 16GB di VRAM e gira anche su RAM unificata o CPU.

🎨

Qwen-Image 2.1

Modelli

Modello open-weight da 7B (DiT da 32 layer) che unisce generazione da testo fino a 2048x2048, editing con fino a 10 immagini di riferimento e trasparenza RGBA nativa. Pensato per girare in locale su 16GB+ di VRAM; supportato da diffusers e ComfyUI.

Bespoke Nimble 9B

Modelli

Il modello decisionale da 9B di Bespoke Labs: gira interamente in locale via Ollama 0.35 e risponde a domande tipizzate (vero/falso, scala numerica, scelta multipla) con la nuova API systemone. Pensato per la classificazione rapida in pipeline automatizzate, senza cloud.

Sfoglia tutte le risorse