Embedding n-gram

Un mécanisme où le modèle indexe de courts groupes de tokens consécutifs (bigrammes, trigrammes) à travers une table d'embedding, au lieu de les traiter un par un. Il réduit la complexité computationnelle et la mémoire pour les très longs contextes, et c'est l'axe de scalabilité utilisé par Qwen3.8-Flash-Next (51B de paramètres dédiés).