Batching continu

Technique de serving où les requêtes en cours sont regroupées en batch de façon dynamique : quand une réponse se termine, sa place dans le batch est immédiatement occupée par la requête suivante dans la file, sans attendre que toutes les réponses du batch finissent. La GPU reste presque continuellement occupée.