Aller au contenu principal
Cas d’usageAvancé6 min de lecture

Cosmos3-H-Dreams de NVIDIA : la simulation chirurgicale en temps réel, et la robotique en local

i
iaLocale Team
•
Cosmos3-H-Dreams de NVIDIA : la simulation chirurgicale en temps réel, et la robotique en local

NVIDIA a publié Cosmos3-H-Dreams : un world model chirurgical qui, sur un seul GPU de workstation, génère en temps réel la vidéo endoscopique d'une cholécystectomie robotisée, à partir des commandes des deux bras du robot. Ce n'est pas un modèle de langage : il ne répond pas à des questions et n'écrit pas de code. C'est un générateur de vidéo conditionné par les actions — et cette différence change la nature des questions auxquelles il peut répondre.

Ce que c'est vraiment, et comment il est fait

Cosmos3-H-Dreams est un world model en temps réel, conditionné par les actions, entraîné pour le système robotique CMR Surgical Versius. À partir d'une seule image de la caméra endoscopique, de la récente histoire des commandes du robot et du flux des commandes futures des deux bras, il génère de façon autoregressive la vidéo endoscopique résultante : ce que verrait l'écran de la salle d'opération si le robot exécutait ces mouvements.

L'architecture est une Mixture-of-Transformers d'environ 15,17 milliards de paramètres : une tour de raisonnement Qwen3-VL-8B-Instruct associée à un expert de génération par diffusion latente, avec attention multimodale partagée, opérant sur les latents du VAE vidéo Wan2.2 (compression 4x dans le temps, 16x16 dans l'espace).

Les données sont réelles : 4 792 épisodes de cholécystectomie robotisée enregistrée, environ 17 millions de frames à 60 Hz et 1080p, resampliconés à 10 Hz. Le fine-tuning a exigé une sélection stricte : 64 enregistrements, environ 526 minutes uniques, avec exactement deux instruments visibles dans chaque fenêtre — le duo classique pince (bras gauche) et crochet (bras droit).

La pièce maîtresse est la distillation. Un enseignant bidirectionnel qui voit toute la séquence et compte 35 pas de décodage par frame est lent par définition. NVIDIA l'a distillé en un étudiant causal qui génère la vidéo fenêtre par fenêtre en 4 pas par frame, avec KV cache — et c'est ce modèle qui tourne en temps réel.

Comment il fonctionne à l'exécution

À l'inférence, le modèle reçoit un frame de départ et, en option, jusqu'à 16 pas d'historique d'action (1,6 seconde). Chaque pas est un vecteur d'action à 28 dimensions : 14 par bras, avec translation et rotation relatives à l'ancre, ouverture de la mâchoire, énergie électrochirurgicale et joystick.

La vidéo sort par paquets : chaque chunk dure 0,4 seconde et demande 4 vecteurs d'action futurs, de sorte qu'un rollout par défaut couvre 72 frames à 10 Hz — 7,2 secondes d'intervention, en 832x480. Les commandes arrivent avant la vidéo : soit on les prend à un enregistrement réel, soit on les génère avec un modèle de policy. Le modèle ne décide pas quoi faire : il prédit seulement l'évolution de la scène.

Les chiffres du temps réel

Le tableau provient directement de la fiche du modèle sur Hugging Face (source) :

GPURésolutionPas de décodageFPS
RTX PRO 6000 Blackwell (Workstation)832x480430,0
RTX PRO 6000 Blackwell (Workstation)832x480243,2
RTX PRO 6000 Blackwell (Max-Q)832x480420,2
RTX PRO 6000 Blackwell (Max-Q)832x480231,2
DGX Spark512x288216,9

La référence opérationnelle est les 10 Hz : c'est la fréquence à laquelle le robot émet ses commandes, donc il faut au moins 10 FPS pour maintenir la boucle interactive en temps réel. La carte 80 Go y arrive avec 3 à 4 fois de marge ; celle de 64 Go avec 2 ; le DGX Spark, desktop à 128 Go de mémoire unifiée, y arrive aussi, mais en résolution réduite.

La VRAM : 15,17 milliards de paramètres exportés en FP32 pèsent environ 60 Go, plus KV cache et VAE. Il faut un GPU de 80 Go, et NVIDIA n'a pas qualifié de quantisations ni de précision inférieure : il n'existe pas encore de voie officielle pour le faire tenir sur une carte grand public de 24 Go. Le runtime est FlashDreams (KV cache à forme fixe, torch.compile, CUDA Graphs, décodeur vidéo allégé) sous Linux, avec un stack interactif clavier ou visière Meta Quest.

Pourquoi c'est un cas d'usage concret, pas une démo

C'est le troisième modèle de la famille Cosmos3 qui arrive en local, après le simulateur de conduite Cosmos3-Nano-Sim-Auto et la policy de robotique edge Cosmos 3 Edge. La différence de rôle est le point : ce n'est pas le modèle qui fait la différence, c'est ce que vous pouvez en faire avant de toucher le système physique.

1. Évaluer des policies chirurgicales. L'usage principal déclaré est l'évaluation de modèles de policy avant déploiement : on fait tourner la policy dans la simulation, on compare la vidéo générée à ce qu'on attend, et on repère les erreurs de logique, de séquence ou de cas limites sans impliquer de système physique. Mille runs sur GPU coûtent de l'énergie, pas des risques.

2. Exploration interactive. Le modèle est aussi conçu pour l'exploration téléopérée : on bouge le robot (ou ses commandes) dans la simulation et on voit la conséquence instantanément. Pour qui développe des interfaces et des workflows chirurgicaux, c'est un environnement de test qui répond en temps réel au lieu d'exiger un bloc opératoire.

3. Données synthétiques. Le troisième usage est la génération de données synthétiques pour la cholécystectomie robotisée : on augmente les 64 minutes réelles avec des séquences plausibles, une astuce connue quand les données cliniques sont rares et coûteuses.

4. Tout sur un GPU, sans réseau. La boucle entière tourne sur un seul GPU de workstation. Pas d'appels cloud, pas de vidéo chirurgicale transiter sur le réseau : les données restent sur le matériel. C'est l'angle qui compte pour qui travaille avec des données sensibles et des politiques strictes.

Et les limites ?

Le modèle est spécialisé sur un embodiment (CMR Versius, domaine 25 sur 32 de l'initialisation) et une seule procédure : il ne simule ni d'autres robots ni d'autres opérations. Il exige des GPU NVIDIA Blackwell ou Hopper avec au moins 80 Go de VRAM, et la quantisation n'a pas été qualifiée : le prix d'entrée est une workstation, pas un desktop. Il génère des vidéos réalistes, mais c'est une simulation : elle ne remplace pas l'intervention, et la validation clinique reste obligatoire pour tout usage médical.

Par où commencer

Pour comprendre la famille dont il est issu, lisez la fiche sur Cosmos3-Nano-Sim-Auto et la note sur la policy DROID pour la robotique edge. Pour lire correctement des spécifications comme « 15B de paramètres », « MoT » ou « 4 pas de décodage », le guide sur comment lire les spécifications d'un modèle reste la référence.

En résumé

Cosmos3-H-Dreams montre que les world models en local ont cessé d'être des démos de recherche : sur un seul GPU de workstation, vous pouvez simuler en temps réel une intervention robotisée, pour évaluer des policies, explorer et générer des données synthétiques pour la robotique. Les chiffres sont ceux de NVIDIA (fiche du modèle, dépôt) ; la contrainte, c'est votre matériel, pas le réseau.

Article généré par IA

Partager :

Vous avez aimé cet article ?

Abonnez-vous à la newsletter pour recevoir de nouveaux tutoriels et guides.

Après l'inscription, vous recevez un e-mail de confirmation (double opt-in). Sans confirmation, nous n'envoyons rien. Pas de spam, promis.

Articles Correlés

Ressources liées

Outils et ressources des archives iaLocale pertinents pour ce contenu.

🚗

NVIDIA Cosmos3-Nano-Sim-Auto

Modèles

Variante causal-distilled de la famille Cosmos3 pour la simulation de conduite en temps réel : génère des vidéos multi-caméras (jusqu'à 11 vues standard et fisheye) et LiDAR synchronisés, conditionnés par un prompt et des contrôles WSM. 16B de paramètres, architecture Mixture-of-Transformers, licence OpenMDW 1.1, prête à l'usage commercial et non commercial.

🤖

NVIDIA Isaac GR00T N1.7 (3B)

Modèles

Modèle de fondation ouvert pour le raisonnement et les habiletés de robots humanoïdes généralisés : entrée multimodale (langage, images, proprioception) et transformeur d'actions avec flow matching qui conditionne un chunk d'actions sur la vision, le langage et l'état du corps. La famille N1.7 comprend 4 variantes post-entraînées (SimplerEnv Bridge, SimplerEnv Fractal, DROID, LIBERO). Version 3B, prête à l'usage commercial et non commercial, licence ouverte NVIDIA.

🤖

NVIDIA Cosmos3-Edge-Policy-DROID

Modèles

Point de contrôle robot-policy de 4B post-entraîné sur la base Cosmos3-Edge : à partir d'instructions en langage naturel et d'observations visuelles du robot DROID, il génère des trajectoires d'action pour des tâches de manipulation. Architecture Mixture-of-Transformers (tour autoregressive + diffusion transformer), licence OpenMDW 1.1, usage commercial et non.

🩻

NVIDIA Cosmos3-H-Dreams

Modèles

World model chirurgical en temps réel, conditionné par les actions, pour le système CMR Surgical Versius : génère de façon autoregressive la vidéo endoscopique d'une cholécystectomie robotisée à partir d'une image et des commandes des deux bras. MoT de 15,17B (tour Qwen3-VL-8B + expert de diffusion latente), étudiant causal à 4 pas avec KV cache. 30 FPS en 832x480 sur RTX PRO 6000 Blackwell (40 Go), 20,2 FPS sur Max-Q (80 Go) et 16,9 FPS en 512x288 sur DGX Spark. Licence NVIDIA Open Model, sortie 2026-10-20.