Aller au contenu principal
← Retour aux actualités

KIWI : l'appel GPU→CPU en sub-microseconde, jusqu'à 2,3x plus vite pour l'expert parallel

Recherche
Le papier KIWI (arXiv) renverse la hiérarchie des communications device-initiated : le reverse offload sur les threads hôte, exposé comme interface programmable, bat les backend GPUDirect — jusqu'à 2,3x de latence en moins sur l'expert-parallel MoE sur GPU AMD et -29 % de temps par token dans vLLM.

Recevez le prochain point IA locale

Chaque semaine, une sélection du meilleur d'iaLocale : articles, actualités et ressources sur l'IA locale, et plus encore.

Après l'inscription, vous recevez un e-mail de confirmation (double opt-in). Sans confirmation, nous n'envoyons rien. Pas de spam, promis.

Ressources liées

Outils et ressources des archives iaLocale pertinents pour ce contenu.