Parallélisme d'experts

Technique spécifique aux MoE : au lieu de diviser chaque couche, les experts (les sous-réseaux conditionnels) sont répartis sur plusieurs GPU. Un token n'invoque que les experts actifs, donc la VRAM est utilisée plus efficacement que avec le parallélisme de tenseurs.