QRAE : compresser le contexte des agents DeepSearch pour économiser token et latence

Quand un agent DeepSearch répond à une question, il ne fait pas un seul saut : il cherche, ouvre une page, lit un fragment, raisonne, puis revient chercher. Chaque résultat qu'il trouve — les chunks de texte récupérés — reste en mémoire et est relu à chaque étape suivante. Après dix recherches, le contexte est souvent plus long que la réponse, et une grande partie de ces fragments ne sera jamais réutilisée. C'est là qu'on perd le budget de token et la latence.
QRAE (Query-Relevant Attention Entropy) est une technique de compression du contexte qui s'attaque précisément à ce point : décider, avant qu'un fragment entre dans le contexte de raisonnement, si cela vaut la peine de le garder. Le papier — QRAE: Query-Relevant Attention Entropy for Context Compression in DeepSearch Agents — la mesure sur plusieurs benchmarks et modèles, et les chiffres sont le sujet.
Le problème : le contexte qui grandit à chaque étape
Un agent DeepSearch (ce type d'agent qui fait des recherches approfondies, comme Tongyi DeepResearch ou OpenResearcher) travaille en cycle : il génère un raisonnement, lance une action (chercher, ouvrir, lire), et incorpore le résultat dans le contexte. Les fragments récupérés — les chunks — sont la plus grosse partie du contexte et s'accumulent d'étape en étape.
Le coût est double. D'abord, chaque token qui reste dans le contexte est re-traité à chaque appel suivant : le prefill se re-paie à chaque étape. Ensuite, plus de contexte signifie plus de latence : le modèle prend du temps juste à relire du matériel qu'il n'utilisera jamais.
Les solutions classiques — résumer l'historique avec un autre modèle (ACON), supprimer des token avec une politique de compression apprise (LLMLingua-2), ou plier les sous-trajectoires complétées en résumés compacts (Context-Folding) — fonctionnent, mais elles ajoutent un passage génératif supplémentaire. En pratique : on paie un autre appel au modèle pour compresser le modèle.
Comment QRAE fonctionne
L'idée de QRAE est de ne pas ajouter d'appel génératif : utiliser le modèle lui-même, en phase de prefill seulement, pour décider quoi garder.
Le framework maintient deux zones séparées :
- Une liste blanche persistante — les chunks admis, qui restent dans le contexte de raisonnement d'une étape à l'autre.
- Un cache de candidats — les chunks incertains, tenus hors du contexte mais récupérables : si de nouvelles preuves arrivent plus tard, ils peuvent être réévalués et admis.
Pour chaque nouveau lot de chunks, QRAE exécute deux prefills appariés : un avec la requête et un de contrôle sans requête. La différence entre les deux réponses d'attention isole la réaction induite spécifiquement par la requête. Puis il mesure l'entropie normalisée de cette réaction à l'intérieur de chaque chunk : un fragment vraiment pertinent fait répondre de manière large de nombreux token de soutien (entropie élevée), tandis qu'une coïncidence produirait un pic isolé (entropie basse).
Le signal vient d'une petite famille de têtes d'attention liées à la requête, localisées une fois, hors ligne, sur 100 trajectoires HotpotQA. Une fois localisées, elles restent fixes : c'est une propriété du modèle, pas de la dataset de localisation. Le papier les appelle les « têtes d'évaluation des preuves » et montre qu'elles récurrent à travers des modèles et architectures différents.
Aucun opérateur d'attention modifié, aucun passage de compression générative. Juste deux prefills supplémentaires, à coût borné et indépendant de la taille du cache de candidats.
Les chiffres
Sur le modèle principal DeepDiver-7B, comparé à l'agent DeepSearch sans compression :
| Benchmark | Succès (base → QRAE) | Tokens (base → QRAE) | Latence (base → QRAE) |
|---|---|---|---|
| BrowseComp-Plus | 13,8 % → 17,2 % | 177k → 54k | 29,5 s → 20,5 s |
| XBench-DeepSearch | 38,0 % → 44,0 % | 319k → 117k | 276 s → 150 s |
| FRAMES | 40,9 % → 42,8 % | 140k → 94k | 158,7 s → 90,7 s |
| SimpleQA | 79,6 % → 82,2 % | 74k → 45k | 145,6 s → 98,6 s |
En moyenne, QRAE améliore le succès de la tâche de 2,35 points de pourcentage tout en réduisant la latence de 30 % et la consommation de token de 45 %. Sur XBench-DeepSearch, les token chutent de 63 % (de 319k à 117k) tandis que le succès monte de 6 points. Et sur les quatre benchmarks, le succès ne baisse pas : il monte.
Le résultat se généralise au-delà du modèle de référence. Sur des architectures hybrides à temps linéaire (OpenResearcher-30B, Mamba–Transformer) et avec une attention creuse (OpenPangu-2.0-Flash-92B, presque 100 milliards de paramètres), QRAE reste efficace : sur BrowseComp-Plus avec les 92B, les token passent de 1077k à 660k (−39 %) et le succès de 54,9 % à 55,3 %.
Ce qui change pour qui tourne en local
Si vous faites tourner des agents de recherche sur votre matériel, le contexte est votre goulot d'étranglement. Les token qui restent dans le contexte sont les token que votre GPU doit re-traiter, et sur un setup local il n'y a pas de cluster pour les diluer : chaque seconde de latence, c'est vous qui la ressentez, et chaque watt, c'est vous qui le payez.
QRAE ne vous donne pas un modèle plus rapide, mais il vous montre comment faire travailler mieux le même modèle : cesser de traîner dans les prompts les fragments qui ne servent à rien. La réduction de 45 % sur les token signifie, à modèle égal, des prompts plus courts à chaque étape et un coût opérationnel inférieur. La réduction de 30 % sur la latence est de la vitesse perçue pure — sur un agent qui fait des dizaines d'étapes, c'est la différence entre une réponse qui arrive et une qui fait attendre.
Et les limites ?
- C'est une méthode, pas un paquet. QRAE est un framework de recherche : il faut localiser les têtes pertinentes (une fois, hors ligne) et intégrer le gestionnaire de contexte dans votre agent. Ce n'est pas à télécharger et à brancher.
- Testé sur le DeepSearch. Les bénéfices sont mesurés sur des agents qui cherchent et accumulent des chunks. Sur un chatbot à tour simple, le problème n'existe pas, et avec lui le gain.
- Les token économisés ne garantissent pas la précision. Le papier le dit explicitement : le comptage de token n'est pas un comptage de FLOP, et l'économie n'implique pas automatiquement les mêmes réponses. Ici les deux vont de pair, mais cela doit être vérifié au cas par cas.
- Il dépend d'un signal interne. Ça marche parce que ces modèles contiennent des têtes de pertinence de requête. Sur des modèles où ce signal est faible ou absent, la méthode perd en efficacité.
Comment en porter l'idée dans votre setup
Même sans implémenter QRAE, le principe est celui à adopter : n'envoyez jamais dans le contexte de raisonnement tout ce que vous récupérez. Trois habitudes concrètes :
- Gardez un contexte d'épreuves borné — laissez dedans seulement les fragments que le raisonnement actuel utilise, pas l'historique complet.
- Maintenez une file de candidats — si un fragment est incertain, mettez-le de côté au lieu de le jeter : vous pourrez le réévaluer quand du nouveau contexte arrive.
- Mesurez les token par étape — si le contexte grandit de façon linéaire avec le nombre de recherches, vous payez le prefill plusieurs fois pour le même matériel.
Le papier complet, avec les formules et les détails expérimentaux, est disponible dans la version HTML.
Sources
- QRAE: Query-Relevant Attention Entropy for Context Compression in DeepSearch Agents — arXiv, 5 novembre 2026 (source primaire pour tous les chiffres cités)
- QRAE — version HTML complète — tables expérimentales, localisation des têtes et analyse des coûts
En résumé
QRAE est une technique de compression du contexte pour agents DeepSearch qui décide, avec deux prefills et l'entropie d'attention du modèle lui-même, quels fragments récupérés méritent de rester dans le contexte de raisonnement. Aucun passage génératif supplémentaire, aucune modification de l'opérateur d'attention. Les résultats, sur quatre benchmarks et des modèles jusqu'à près de 100 milliards de paramètres : succès en moyenne +2,35 points, token −45 %, latence −30 %. L'idée de fond — ne pas traîner dans le contexte ce qu'on n'utilisera pas, et garder une file de candidats pour ce qui est incertain — est le principe à adopter aujourd'hui, indépendamment du fait que vous implémenterez la méthode.
Article généré par IA
Dans ces parcours
Vous avez aimé cet article ?
Abonnez-vous à la newsletter pour recevoir de nouveaux tutoriels et guides.
Articles Correlés

Qwen3.8-2.4T-A95B : les comptes pour faire tourner 2,4 billions de paramètres open-weight, 95B actifs
Le premier modèle Qwen-Max en open-weight pèse ~1,3 To en Q4 : aucun nœud grand public seul n'y entre. Les comptes sur amortissement, électricité et vitesse en multi-nœud.

Ripple-65B : un dense de 64,8B sous Apache-2.0, les comptes pour le faire tourner en local
64,8 milliards de paramètres, Apache 2.0, 1M de contexte et un checkpoint NVFP4 pensé pour 128 Go de mémoire unifiée : les comptes et les critères pour faire tourner un dense frontier en local.

