Aller au contenu principal
← Retour au glossaire

Distillation de modèles

Techniques

Technique pour transférer les capacités d'un grand modèle (l'enseignant) à un modèle plus petit (l'étudiant), qui imite le comportement de l'enseignant au lieu de répéter son entraînement. Le résultat est un modèle plus petit et plus rapide, avec une légère perte de qualité : dans un cas extrême, distiller un générateur de vidéo bidirectionnel à 35 pas en un étudiant causal à 4 pas est ce qui permet à Cosmos3-H-Dreams de tourner en temps réel.

Ce terme dans d'autres langues