Parallélisme de tenseurs

Technique de serving qui divise chaque matrice (tenseur) d'un modèle sur plusieurs GPU : chaque carte calcule une partie de la même couche et les résultats sont recombinés. Utile quand une couche ne tient pas sur une seule GPU, par exemple pour les gros MoE.