vLLM
📝 Définition courte
Moteur d’inférence open-source (Python/C++) conçu pour servir des LLM à haut débit sur GPU dédiés, avec gestion avancée du KV Cache et requêtes concurrentes1.
📖 Définition détaillée
vLLM est devenu la référence on-premise pour l’inférence multi-utilisateurs sur serveurs équipés de GPU NVIDIA (CUDA) ou AMD (ROCm). Contrairement aux outils orientés poste de travail, vLLM vise la production : API OpenAI-compatible, batching continu, parallélisme tensoriel et quantification FP8 (raccourci fp8_per_tensor depuis la 0.31) / AWQ / GPTQ pour architectures récentes2.
Son mécanisme emblématique est la gestion paginée du KV Cache popularisée par PagedAttention : le cache est découpé en blocs réutilisables et hachés (cache de préfixes activé par défaut), ce qui réduit la fragmentation mémoire et permet de regrouper de nombreuses requêtes simultanées sans saturer la VRAM34. L’implémentation historique a été retirée en v0.25 (juillet 2026) au profit des backends d’attention du moteur V1, qui conservent ce modèle mémoire5.
💡 Pourquoi c’est important en IA on-premise
- Scénario D du vault (datacenter multi-GPU), et Scénario B dans sa variante serveur rack GPU NVIDIA (voir Serveurs rack GPU) ; les appliances Mac / APU du scénario B (MLX, llama.cpp, SGLang ROCm) et le cluster Mac du scénario C (MLX / Exo) ne reposent pas sur vLLM.
- Alternative naturelle à une API cloud quand le volume de requêtes internes justifie l’amortissement matériel.
- Point d’ancrage pour configurer vLLM multi-GPU et migrer depuis Ollama.
⚠️ Pièges fréquents
- Déployer vLLM sur poste sans GPU dédié ou avec offloading RAM massif : ce n’est pas son cas d’usage (préférer Ollama / llama.cpp).
- Comparer vLLM et Ollama sur une seule requête séquentielle : l’avantage vLLM apparaît sous concurrence.
- Oublier le dimensionnement VRAM : le modèle + KV Cache concurrent doivent tenir dans la mémoire GPU disponible.
- Croire que vLLM ne réutilise pas les préfixes : l’Automatic Prefix Caching est actif par défaut4 ; sur charges agentiques à préfixes très partagés, évaluer tout de même SGLang en parallèle (RadixAttention, partage plus fin).
- Exposer le serveur avec le seul
--api-key: il ne couvre pas toutes les routes — reverse proxy obligatoire (voir Sécurité de l'inférence locale). - Rester sur une version antérieure à 0.34.0 (16 novembre 2026) : plusieurs exécutions de code à distance et dénis de service ont été corrigés entre 0.28 et 0.33, puis le contournement du verrou des chat templates par
/v1/systemoneen 0.34 ; les roues ciblent CUDA 13.0 par défaut depuis la 0.28 (août 2026), exclusivement depuis la 0.33, et la 0.34 retire le Model Runner V1 (VLLM_USE_V2_MODEL_RUNNER=0fait échouer le démarrage) et ne publie plus que des builds ROCm 10.0 : lisez la section « Before you upgrade » des notes de version avant de migrer2.
📚 Pour comprendre en profondeur
- ⚙️ Moteurs d'inférence — comparatif vLLM, Ollama, TensorRT-LLM, SGLang
- PagedAttention — optimisation mémoire clé de vLLM
- 🔐 Sécurité de l'inférence locale — durcissement API en production
🔗 Voir aussi
Footnotes
-
vLLM Project, dépôt officiel. https://github.com/vllm-project/vllm ↩
-
vLLM Project, Release v0.31.0 (
mm_processor_kwargspar requête refusés sauf--trust-request-mm-kwargs; raccourci de quantification en lignefp8renomméfp8_per_tensor), 5 octobre 2026 · Release v0.28.0 (roue PyPI et image Docker par défaut en CUDA 13.0), 26 août 2026 · Release v0.33.0 (roues et images CUDA 13.0 uniquement ; corrige les avis du 2 novembre 2026), 2 novembre 2026 · Release v0.34.0 (« Before you upgrade » : Model Runner V1 retiré, builds ROCm 10.0 uniquement), 16 novembre 2026 · advisory GHSA-xgh8-qwjh-q853 (/v1/systemonecontourne--trust-request-chat-template, Moderate, versions 0.32.0rc0 → 0.33.0, corrigé 0.34.0), 18 novembre 2026. https://github.com/vllm-project/vllm/releases/tag/v0.31.0 · https://github.com/vllm-project/vllm/releases/tag/v0.28.0 · https://github.com/vllm-project/vllm/releases/tag/v0.33.0rc3 · https://github.com/vllm-project/vllm/releases/tag/v0.34.0 · https://github.com/vllm-project/vllm/security/advisories/GHSA-xgh8-qwjh-q853 ↩ ↩2 -
Kwon et al., Efficient Memory Management for Large Language Model Serving with PagedAttention (SOSP 2023). https://arxiv.org/abs/2309.06180 ↩
-
vLLM Project, Automatic Prefix Caching (
enable_prefix_cachingactif par défaut, hachage de blocs), consulté le 2026-10-10. https://docs.vllm.ai/en/stable/features/automatic_prefix_caching/ ↩ ↩2 -
vLLM Project, Release v0.25.0 (« PagedAttention has been removed — the legacy attention implementation is deleted now that V1/MRv2 backends are the standard path »), 11 juillet 2026. https://github.com/vllm-project/vllm/releases/tag/v0.25.0 ↩