Da dove imparano i modelli locali: i pesi aperti spiegati senza fuffa

La domanda arriva sempre, e ha senso: un modello che gira sul tuo PC da dove ha preso le capacità? Non c'è internet, non c'è un server a cui si aggancia: eppure sa grammatica, matematica, codice. La risposta in una frase: le ha imparate una volta sola, durante l'addestramento, su dati pubblici — e da allora vive tutto dentro i pesi del modello, che stanno su un disco, non su un cloud.

L'analogia è quella dell'enciclopedista. Un enciclopedista che ha letto milioni di pagine non ha bisogno della biblioteca per rispondere: sa che la capitale della Francia è Parigi senza aprirci l'occhio, perché l'informazione è diventata parte di lui. Un modello pre-addestrato è esattamente questo: un "enciclopedista" che ha letto una frazione significativa del testo pubblico di internet, e che da quel momento risponde dalla memoria. Il tuo hardware non scarica nulla in tempo reale: esegue i calcoli su ciò che il modello ha già imparato.

Le tre fasi: come si costruisce un modello

1. Pre-training — il modello legge il mondo. I ricercatori assemblano un corpus enorme di testo pubblico (web, libri digitalizzati, Wikipedia, codice su GitHub, forum) e fanno una cosa apparentemente stupida: addestrano la rete a prevedere la parola successiva, miliardi di miliardi di volte. Per farlo bene, il modello è costretto a costruire una rappresentazione interna del mondo: significati, strutture logiche, convenzioni di un linguaggio di programmazione, regole della fisica che si intravedono in milioni di pagine. È in questa fase che nascono le capacità.

2. Allineamento — si impara a essere utile. Il modello grezzo del pre-training è un completamento di testo con la personalità di un autocompletamento. Con un secondo passaggio (istruzione + feedback) si trasforma in un assistente che segue le tue domande invece di continuare solo il testo.

3. Distribuzione — i pesi escono (o no). Qui si decide se il modello è "a pesi aperti". Il lab pubblica il file dei pesi (decine o centinaia di GB, in formati come GGUF) e tu lo scarichi una volta: da quel momento è tuo, gira offline, nessuno lo aggiorna né lo ritira. OpenAI con ChatGPT non pubblica i pesi: il modello non esce mai dai suoi server. Ecco la linea di confine vera — non tra "open source" e "commerciale", ma tra pesi che possiedi e pesi che usi in noleggio.

Pesi aperti non è dati aperti

La parte in cui la confusione è più frequente: "open weight" non significa che i dati di addestramento siano pubblici, né che il modello sia open source nel senso legale (licenza GPL). Significa che il file dei pesi è scaricabile e modificabile: puoi quantizzarlo, fine-tunarlo, distribuirlo, cancellare il cloud. I dati con cui è stato addestrato, in genere, restano un mix proprietario e pubblico che il lab non rende disponibile integralmente.

Quindi no: l'IA locale non "prende dati globali" da Mistral o da DeepSeek in tempo reale. Prende ciò che i pesi hanno memorizzato, e lo esegue sulla tua macchina.

I modelli che potresti far girare, e da chi vengono

| Modello | Parametri | Pre-training dichiarato | Chi lo pubblica | |---|---|---|---|---| | Llama 3.1 (Meta) | 8B – 405B | ~15 trilioni di token, 8+ lingue | Meta | | Mistral 7B (Mistral) | 7B | ~8 trilioni di token | Mistral | | DeepSeek-V3 (DeepSeek) | 671B (MoE, 37B attivi) | ~14,8 trilioni di token | DeepSeek | | Gemma 3 (Google) | 1B – 27B | non dichiarato | Google | | gpt-oss (OpenAI) | 20B – 120B (MoE) | non dichiarato | OpenAI, licenza Apache 2.0 |

Due letture che contano. Prima: i pesi aperti non vengono da un solo lab francese — Meta, Mistral, Google, DeepSeek e dal 2025 anche OpenAI stessa pubblica modelli scaricabili. Secondo: le capacità "globali" arrivano da corpus multilingue e multiculturale — è per questo che un modello di 8B parla accettabilmente italiano e francese pur essendo addestrato su dati in maggioranza inglese.

Quanti dati servono davvero?

Il pre-training dei modelli importanti si misura in trilioni di token: Llama 3 ha dichiarato circa 15 trilioni per la famiglia 8B-405B, DeepSeek-V3 circa 14,8 trilioni. Un trilione di token è all'incirca 700 miliardi di parole, ovvero l'ordine di grandezza di "tutto il testo pubblico di internet, riletto qualche volta". Non esiste modo per un singolo utente di fare questo: richiede cluster con migliaia di GPU per mesi. Il bello è che a te non serve: il lavoro sporco è già stato fatto, e il file che scarichi da Ollama o Hugging Face è il risultato finale.

Cosa succede quando chiedi qualcosa

Quando scrivi una frase, il tuo hardware fa una cosa molto concreta: moltiplicazioni e somme sui pesi, token per token. Ogni token generato richiede un passaggio completo dei tuoi dati di input attraverso le matrici del modello. Per un 7B quantizzato a 4 bit servono circa 4,5 GB di RAM; per un 70B a 4 bit ne servono circa 40. La RAM è il collo di bottiglia, non la potenza di calcolo — GGUF, il formato che fa stare i modelli sul tuo hardware spiega la quantizzazione nel dettaglio.

E i limiti?

Onesti, perché meritano una sezione.

• Sapere congelato al momento dell'addestramento. Il modello non "sa" quello che è successo dopo il cut-off del suo corpus. Non è un limite di rete: è il prezzo di possedere il modello.
• La quantizzazione costa qualcosa. Un 7B a 4 bit è più veloce e leggero del modello in piena precisione, ma su compiti sottili la differenza si vede.
• I casi complessi restano in mano ai frontier. Ragionamento in più passi, contesti lunghissimi, compiti multimodali: qui i modelli frontier (ChatGPT, Claude, Gemini) sono ancora avanti. Il confronto onesto frontier vs locale misura dove la differenza conta davvero.

In sintesi

L'IA locale non si aggancia a internet per "prendere capacità globali": le ha assorbite una volta sola, durante il pre-training, su dati in gran parte pubblici, e le esegue interamente sul tuo hardware. "Pesi aperti" non è sinonimo di "dati aperti", i modelli arrivano da molti lab (Meta, Mistral, DeepSeek, Google, e dal 2025 anche OpenAI), e il tuo lavoro è solo scaricare il file, scegliere la quantizzazione giusta e far partire i calcoli. La domanda che conta non è da dove arrivano le capacità, ma cosa ne fai con dati che non lasciano mai la tua macchina.

Fonti

• Llama 3: Herd of Models (arXiv 2310.06825)
• Mistral 7B (arXiv 2401.04088)
• DeepSeek-V3 Technical Report (arXiv 2407.21783)
• gpt-oss Technical Report (arXiv 2412.19437)
• OpenAI gpt-oss-120b — model card
• DeepSeek-V3 — Hugging Face

Articolo generato con IA