Blog
Articoli, guide e approfondimenti sull'intelligenza artificiale locale
9 articoli trovati per "API"

Yzma: embedding fino a 2,6x più veloci di Ollama, il confronto
Yzma chiama llama.cpp dentro al processo: niente server, niente round trip. Su embedding è 2,6x più rapido di Ollama — con i numeri, il calcolo e il setup.

Secret Guard e i gateway LLM locali: proteggere i segreti quando l'agente li usa
Secret Guard è un gateway in Rust, open source, che intercetta le richieste del tuo agente e sostituisce i segreti con dei mock prima che arrivino al provider: il modello non li vede mai, e il valore reale torna all'agente.

Immagini in locale: ComfyUI 0.40 e comfy_attention - nuovo per tutti i modelli
ComfyUI 0.40 estende comfy_attention a tutti i modelli con kernel selezionabili per modello e via LoRA, attiva di default il sistema di asset con API locale e standardizza l'output 3D; la tabella VRAM resta il riferimento per la scelta.

Agenti ML che girano in locale: MLExpert ed EpochGo su Ollama, costi API zero
MLExpert alza l'asticella a 35B e 72,7% di medaglie; EpochGo porta tre agenti AutoML su un 16 GB, zero API: cosa funziona oggi, i conti e i limiti.

Ling 3.1 Flash: 560B open-weight con licenza MIT, 1M di contesto - cosa cambia per chi ha 24GB di VRAM
Ling 3.1 Flash di inclusionAI: MoE ibrido 560B totali / 25B attivi, contesto nativo 1M token, checkpoint FP8, licenza MIT. Cosa significa concretamente per chi ha 24GB di VRAM: quantaggi, parallelismo e costi API.

Quanto costa un token: cinque strade, i conti e il punto di pareggio
Frontier API, abbonamento, provider di inferenza, GPU in noleggio o hardware tuo: cinque strade per generare token, coi costi reali al mese, il conto della corrente e il punto di pareggio calcolato.

Costi: locale vs API, fatto coi numeri
Quanto costa davvero il locale rispetto a una API cloud? Prezzi per token verificati, ammortamento GPU, elettricità e il punto di pareggio, calcolato con i numeri.

GGUF: il formato che fa stare i modelli sul tuo hardware
GGUF è il formato a file singolo che distribuisce i modelli per l'inferenza locale: header con firma e versione, metadati chiave-valore, indice dei tensor e pesi allineati per il caricamento rapido via mmap. Tipi di quantizzazione con dimensioni reali (8B da 14.96 GiB a F16 a 4.58 GiB a Q4_K_M), convenzione sui nomi e regola per scegliere la dimensione rispetto a VRAM o RAM.

Ollama vs LM Studio: Quale Tool Scegliere per l'IA Locale
Ollama per server e script, LM Studio per esplorazione desktop: tabella comparativa, le due API (11434/1234) e il caso reale di chi li usa insieme.

