Distillation de modèles
TechniquesTechnique pour transférer les capacités d'un grand modèle (l'enseignant) à un modèle plus petit (l'étudiant), qui imite le comportement de l'enseignant au lieu de répéter son entraînement. Le résultat est un modèle plus petit et plus rapide, avec une légère perte de qualité : dans un cas extrême, distiller un générateur de vidéo bidirectionnel à 35 pas en un étudiant causal à 4 pas est ce qui permet à Cosmos3-H-Dreams de tourner en temps réel.

