C++ implementation of LLMs for efficient inference on consumer CPUs and GPUs.
vLLM
Released on Jun 13, 2023
High-throughput LLM serving with PagedAttention and hardware optimizations.
Features
- PagedAttention
- Continuous batching
- Multi-GPU
- OpenAI API
- Prefix caching
- Chunked prefill
Version history
- v0.33.0rc3Latest
Moves to PyTorch 2.14 and Triton 3.8 with CUDA 13.0 only (12.9 dropped), ABI-stable CUDA wheels and an AWS EFA image. New models: Beam-1.0 (501B MoE, 23B active) and Flint (40B, 2.5B active); XPress refiner for block-diffusion drafters and FLy lossy verification with 1.04-1.31x decode on MI355X and B300.
- v0.30.0
Aggiunge supporto a DeepSeek-V4.1-Flash, GLM-5.3-Flash e altri modelli, insieme alla feature Fast Start con cache pesi persistente in GPU.
- v0.14.0
Abilita di default l'asynchronous scheduling, che sovrappone scheduling e esecuzione GPU migliorando il throughput.
- v0.8.0
Attiva di default il nuovo motore V1 per gli scenari supportati, con miglioramenti di prestazioni e metriche.
- v0.6.0
Raggiunge circa il doppio del throughput rispetto a v0.5.3 con lo scheduler a più passi e l'output processor asincrono.
- v0.5.0
Aggiunge il supporto alla quantizzazione FP8 e l'API Vision di OpenAI per i modelli LLaVA.
- v0.4.0
Introduce la cache automatica del prefisso (automatic prefix caching) e il primo modello vision LLaVA.
- v0.2.0
Porta fino al 60% di miglioramento delle prestazioni e aggiunge il supporto iniziale ad AWQ e a Mistral-7B.
- v0.1.0
Prima release ufficiale di vLLM, motore di inferenza ad alto throughput basato su PagedAttention.
Tags
Useful links
Discover vLLM
Visit the official site to download, learn more and start using vLLM.
Related resources — Inference
Open source tool to run LLMs locally with simplicity.
Sintesi vocale in locale a bassa latenza basata su ONNX: genera parlato naturale da testo in tempo quasi reale, anche su CPU. Multilingue (italiano incluso) e facile da integrare nei pipeline: download del modello, una riga di comando. MIT.

