Vai al contenuto principale
Casi d’usoIntermedio6 min di lettura

Cosmos3-Nano-Sim-Auto: il world model di NVIDIA da 16B che simula la guida in tempo reale, in locale

i
iaLocale Team
•
Cosmos3-Nano-Sim-Auto: il world model di NVIDIA da 16B che simula la guida in tempo reale, in locale

Un world model è un simulatore neurale: un modello che ha imparato come si comporta il mondo e può generare cosa succederebbe se tu facessi questa manovra, in questo scenario, con questo meteo. Non risponde a domande — produce scenari. E NVIDIA li sta portando fuori dal cloud: Cosmos3-Nano-Sim-Auto è un world model da 16 miliardi di parametri per la simulazione di guida in tempo reale, rilasciato pubblico su Hugging Face e GitHub con licenza OpenMDW 1.1. Qui guardiamo cosa genera, come funziona il ciclo chiuso e cosa vuol dire davvero "in locale" quando si parla di un simulatore da 16B.

Cos'è Cosmos3-Nano-Sim-Auto

Lo checkpoint pubblicato da NVIDIA è la variante causal-distilled della famiglia Cosmos3. La catena è in due stadi: Cosmos3-Nano fa post-training su dati di guida multi-sensore, incluse le nuvole LiDAR, e diventa Cosmos3-Nano-Transfer-Auto; poi una distillazione causale lo trasforma in un modello few-step, che genera video a piccoli chunk di frame latenti condizionati sulla storia in cache e sui controlli in arrivo. L'architettura è un Mixture-of-Transformers (MoT) con 16B di parametri addestrabili, sviluppato con il Cosmos Framework, open source su GitHub.

La differenza con un modello di immagini o un LLM non è la dimensione, è la natura dell'output: non genera un'immagine finita, genera un mondo che reagisce. Ogni chunk dipende dai comandi di guida ricevuti; il chunk successivo dipende dal precedente. La coerenza spaziale e temporale tra le telecamere e il LiDAR è costruita dentro il modello, non aggiunta in post-produzione.

Come funziona il ciclo chiuso

Il loop che il modello chiude è questo: una policy di guida (o un volante umano) produce comandi; un renderer WSM (World Scenario Map) li converte in controlli di scena — video MP4 della struttura della scena, con lane markings e cuboidi degli oggetti, uno per ogni vista; il modello genera l'osservazione; la policy la legge e comanda di nuovo. A ogni passo il mondo si aggiorna in funzione dell'input.

L'osservazione che genera è ricca:

  • Fino a 11 viste telecamera — il rig di riferimento è il Hyperion 8.1: front-wide 120°, front-tele 30°, cross-left e cross-right 120°, rear-left e rear-right 70°, rear-tele 30°, più quattro fisheye da 200°
  • 480p o 720p, 10–30 fps su tutte le viste selezionate, spazialmente e temporalmente sincronizzate
  • LiDAR allineato — una nuvola di punti 3D da un sensore a 128 fasci, convertita dalle range-map generate dal modello

Gli input che accetta, dal model card:

  • Prompt testuale: meteo, illuminazione, ora del giorno; porta anche la configurazione delle telecamere
  • Controlli WSM: i video di struttura sincronizzati, vista per vista
  • RGB iniziale (opzionale): la prima immagine di ogni telecamera
  • Mappe LiDAR: sequenze di range-map derivate dalla HD map, necessarie se si chiede l'output LiDAR

Quanto pesa davvero "16B"

16B è un numero che con un LLM diresti "ci sta anche su 24GB di VRAM". Con un world model la conta è diversa, perché il peso è solo la parte fissa: il resto sono i chunk di generazione che girano in parallelo su 11 viste più un sensore. I conti:

VoceCalcoloRisultato
Pesi in FP1616 × 10⁹ parametri × 2 byte≈ 32 GB
Pesi in FP816 × 10⁹ parametri × 1 byte≈ 16 GB
Buffer di generazione11 flussi video + LiDAR, chunk per chunknon dichiarata
Storia temporale in cachechunk precedenti, per la coerenza del mondonon dichiarata

I 32GB di pesi in FP16 starebbero teoricamente anche su una GPU da 32GB. Ma il lavoro di questo modello non è leggere i pesi: è generare 11 flussi video e un LiDAR, frame dopo frame, a 10–30 fps. Per questo NVIDIA dichiara come hardware di riferimento le serie Hopper (H100, H20, H200) e Blackwell (B200, B300, GB200, GB300), su Linux. Non è un divieto: è il perimetro testato e garantito.

Perché girarlo in locale

Un simulatore che gira in locale ha quattro vantaggi concreti:

  • Latenza del loop chiuso. La policy deve leggere l'osservazione e ricomandare a ogni passo: ogni round trip verso un servizio remoto è un ritardo che, nel mondo reale, si misura in metri.
  • I dati restano dove sono. Video di guida, mappe, traiettorie della flotta: non attraversano un provider, restano sul sito.
  • Disponibilità. Il simulatore c'è quando l'hardware c'è: senza coda, senza quota, senza dipendenza dalla rete. È la stessa logica dell'IA locale applicata alla fisica.
  • Licenza OpenMDW 1.1. Pronta per uso commerciale e non commerciale: metti il simulatore in produzione senza negoziare una licenza di rendering.

Sui costi, il ragionamento è quello che fai per qualsiasi GPU tua: il capitale è già speso, e il margine è elettricità. Una GPU da 700W sotto carico (il TDP di una H100 SXM) a regime costante consuma 0,7 kWh all'ora; a 8 ore al giorno sono 5,6 kWh — a 0,30 €/kWh, circa 1,70 € al giorno, una manciata di euro al mese. Il paragone giusto non è col rendering cloud: è col fatto che gli scenari, prima, non esistevano. Ora si generano quando servono, in numero illimitato.

E i limiti?

Onesti, perché qui la trasparenza serve a decidere se ha senso per te:

  • Non è un modello da workstation consumer. L'hardware dichiarato è datacenter: Hopper o Blackwell. Se la tua GPU ha 16–24GB, per oggi questo non è il tuo modello. È la prima world model da 16B che è realistica da schierare — non la prima che gira sul desktop.
  • Linux only. Le altre piattaforme non sono state testate.
  • Un solo sweep LiDAR misurato come prefisso. Il percorso causale attuale accetta una sola passata LiDAR reale all'inizio; i prefissi più lunghi non sono supportati.
  • 480p/720p, 10–30 fps. È simulazione, non fotorealismo: per valutare una policy di guida è più che sufficiente.
  • Il rig è quello dichiarato. Da 1 a 11 viste su rig Hyperion; per configurazioni custom serve un post-training sulla variante Transfer-Auto.

Fonti

In sintesi

Cosmos3-Nano-Sim-Auto è un simulatore di guida chiuso: 16B di parametri in architettura MoT, che genera fino a 11 telecamere e una nuvola LiDAR sincronizzate, a 10–30 fps e in 480p/720p, condizionate da un prompt testuale e dai controlli WSM. "In locale" qui non è una scelta estetica: è la latenza del loop, sono i dati che non attraversano la rete, è la licenza OpenMDW 1.1 per uso commerciale. L'hardware richiesto è datacenter, e i limiti sono dichiarati con chiarezza nella scheda del modello. Il pezzo mancava nella famiglia Cosmos3: la policy DROID per la robotica on-edge c'era già — ora c'è anche il mondo in cui provarla.

Articolo generato con IA

In questi percorsi

Condividi:

Ti è piaciuto questo articolo?

Iscriviti alla newsletter per ricevere nuovi tutorial e guide.

Dopo l'iscrizione ricevi una email di conferma (double opt-in). Senza conferma non inviamo nulla. Nessuno spam, ti promettiamo.

Articoli Correlati