Tokenizer

Le composant qui découpe le texte en jetons, les unités que le modèle lit vraiment. Un tokenizer multilingue encode l'italien en moins de jetons qu'un tokenizer anglophone, réduisant calcul et consommation de contexte.