Decode

La seconda fase di inferenza: il modello genera la risposta un token alla volta. Ogni token richiede di rileggere tutti i pesi del modello e il KV cache dalla memoria, per cui la velocità (token/secondo) è determinata soprattutto dalla banda di memoria.