Vai al contenuto principale

Blog

Articoli, guide e approfondimenti sull'intelligenza artificiale locale

9 articoli trovati per "token"

Turnbook: la memoria locale per gli agenti di coding, senza una chiamata al modello
Casi d’usoIntermedio

Turnbook: la memoria locale per gli agenti di coding, senza una chiamata al modello

Ogni conversazione salvata parola per parola in un file SQLite, senza una sola chiamata al modello: la ricerca gira con embedding locali e il recupero costa 3,1k token. 91,8% su LongMemEval, zero token per salvare.

iaLocale Team
20 novembre 2026
QRAE: comprimere il contesto degli agenti DeepSearch per risparmiare token e latenza
ModelliIntermedio

QRAE: comprimere il contesto degli agenti DeepSearch per risparmiare token e latenza

QRAE usa l'entropia dell'attenzione del modello per decidere quali frammenti recuperati restano nel contesto: token -45%, latenza -30% e successo in crescita su quattro benchmark.

iaLocale Team
18 novembre 2026
Ling 3.1 Flash: 560B open-weight con licenza MIT, 1M di contesto - cosa cambia per chi ha 24GB di VRAM
ModelliIntermedio

Ling 3.1 Flash: 560B open-weight con licenza MIT, 1M di contesto - cosa cambia per chi ha 24GB di VRAM

Ling 3.1 Flash di inclusionAI: MoE ibrido 560B totali / 25B attivi, contesto nativo 1M token, checkpoint FP8, licenza MIT. Cosa significa concretamente per chi ha 24GB di VRAM: quantaggi, parallelismo e costi API.

iaLocale Team
19 ottobre 2026
Kolibri di Aleph Alpha: il MoE da 78B che gira (quasi) in locale
ModelliIntermedio

Kolibri di Aleph Alpha: il MoE da 78B che gira (quasi) in locale

Kolibri (78.1B/3.46B, Apache 2.0, FP8) di Aleph Alpha è il MoE europeo open-weight: reasoning, tool calling e contesto fino a 1M token. In FP8 pesa ~78GB di VRAM: gira su RTX 5090 32GB + RAM condivisa o su Mac a memoria unificata; per l'adozione pratica mancano ancora l'architettura kolibri1 in llama.cpp e i build di Ollama/LM Studio.

iaLocale Team
18 ottobre 2026
Modelli di decisione in locale: JEV-35B e il System 1 da 3B attivi
Casi d’usoIntermedio

Modelli di decisione in locale: JEV-35B e il System 1 da 3B attivi

Non serve un LLM grande per decidere. JEV-35B (35B, 3B attivi) in NVFP4 su una GPU da 32 GB e ej (11,4 MB) su CPU mostrano come fare routing, classificazione e controllo qualità senza generare un solo token.

iaLocale Team
17 ottobre 2026
Quanto costa un token: cinque strade, i conti e il punto di pareggio
ConfrontiIntermedio

Quanto costa un token: cinque strade, i conti e il punto di pareggio

Frontier API, abbonamento, provider di inferenza, GPU in noleggio o hardware tuo: cinque strade per generare token, coi costi reali al mese, il conto della corrente e il punto di pareggio calcolato.

iaLocale Team
15 ottobre 2026
Decodifica speculativa e MTP: velocità gratis
FondamentiIntermedio

Decodifica speculativa e MTP: velocità gratis

La decodifica speculativa rende l'IA locale più veloce senza cambiare la qualità dell'output: un modello bozza i token, il modello grande li verifica. Ecco come funziona il draft-verify, le teste MTP nei modelli Qwen, EAGLE su Mistral Medium 3.5 e come abilitare tutto in tre comandi.

iaLocale Team
12 ottobre 2026
Costi: locale vs API, fatto coi numeri
Casi d’usoIntermedio

Costi: locale vs API, fatto coi numeri

Quanto costa davvero il locale rispetto a una API cloud? Prezzi per token verificati, ammortamento GPU, elettricità e il punto di pareggio, calcolato con i numeri.

iaLocale Team
6 ottobre 2026
Quantizzazione: ottenere di più dallo stesso hardware
ModelliIntermedio

Quantizzazione: ottenere di più dallo stesso hardware

La quantizzazione riduce la precisione dei pesi (da FP16 a 4-8 bit) per far entrare i modelli in meno VRAM e generare più token al secondo. Livelli, dimensioni reali di Qwen2.5 14B, regola di scelta da Q4_K_M e limiti (codice, ragionamento, lingue diverse dall'inglese).

iaLocale Team
28 settembre 2026