Throughput

Numero di token che un sistema di inferenza genera nell'unità di tempo, in genere misurato in token al secondo. Esiste il throughput complessivo (tutte le richieste concorrenti) e la latenza di un singolo utente: due numeri che raccontano cose diverse e vanno misurati separatamente.