Decode

Deuxième phase de l'inférence : le modèle génère la réponse un token à la fois. Chaque token nécessite de relire tous les poids du modèle et le KV cache depuis la mémoire, donc la vitesse (tokens par seconde) est dictée surtout par la bande passante mémoire.