Aller au contenu principal
← Retour aux actualités

Tideway : VRAM et RAM gérées comme un seul pool pour les MoE en local

Recherche
Papier sur Hugging Face : TIDEWAY traite la RAM système et la VRAM GPU comme un unique pool mémoire, avec des layouts adaptés aux phases prefill et decode. Sur du matériel grand public, il déclare 1,97x de vitesse end-to-end et 2,40x sur le time-to-first-token face au baseline le plus rapide.

Recevez le prochain point IA locale

Chaque semaine, une sélection du meilleur d'iaLocale : articles, actualités et ressources sur l'IA locale, et plus encore.

Après l'inscription, vous recevez un e-mail de confirmation (double opt-in). Sans confirmation, nous n'envoyons rien. Pas de spam, promis.