Aller au contenu principal
← Retour aux actualités

vLLM v0.33.0rc3 : CUDA 13.0, nouveaux modèles MoE et décodage spéculatif sur AMD

Outils et sorties
Source:GitHub
927 commits et 389 contributeurs : vLLM passe à PyTorch 2.14 et Triton 3.8 avec CUDA 13.0 unique, roues ABI-stables et image AWS EFA. Beam-1.0 (501B MoE, 23B actifs) et Flint (40B, 2,5B actifs) arrivent, et le refiner XPress avec la vérification FLy apporte 1,04-1,31x de décodage sur MI355X et B300.

Recevez le prochain point IA locale

Chaque semaine, une sélection du meilleur d'iaLocale : articles, actualités et ressources sur l'IA locale, et plus encore.

Après l'inscription, vous recevez un e-mail de confirmation (double opt-in). Sans confirmation, nous n'envoyons rien. Pas de spam, promis.

Ressources liées

Outils et ressources des archives iaLocale pertinents pour ce contenu.