vLLM v0.31.0rc3 : prise en charge des entrées dummy aléatoires dans le Model Runner V2
Matériel et accélérateursArticles connexes
vLLM : servir des modèles rapides
vLLM est le moteur open source qui transforme un modèle local en serveur concurrent : PagedAttention, batching continu, installation et les concepts (débit, quantification, KV cache) pour choisir quand l'utiliser à la place d'Ollama.
Nemotron-Parse : la famille OCR de NVIDIA pour lire vos documents en local
NVIDIA a réédité Nemotron Parse (v1.1, v1.2, 2.0) dans la même semaine du 20 octobre : moins d'un milliard de paramètres, structure de page incluse. Installation locale avec vLLM, et limites honnêtes.
Images en local : ComfyUI 0.40 et comfy_attention, pour tous les modèles
ComfyUI 0.40 étend le moteur d'attention comfy_attention à tous les modèles, active l'API d'assets en local et standardise la sortie 3D. Le tableau VRAM pour savoir ce qui tourne sur votre matériel.
Recevez le prochain point IA locale
Chaque semaine, une sélection du meilleur d'iaLocale : articles, actualités et ressources sur l'IA locale, et plus encore.
Après l'inscription, vous recevez un e-mail de confirmation (double opt-in). Sans confirmation, nous n'envoyons rien. Pas de spam, promis.