Unknown · seit 2023 (Erstveröffentlichung); aktuelle Stable-Version 0.32.0 vom 18. Oktober 2026 · 2× · zuletzt 29. Okt. 2026
26
Momentum
vLLM ist ein quelloffenes Inferenz- und Serving-Engine für große Sprachmodelle, ursprünglich an der UC Berkeley (Sky Computing Lab) entwickelt. Kernmerkmale sind PagedAttention, Continuous Batching und ein OpenAI-kompatibler API-Server. Die offizielle Dokumentation liegt unter docs.vllm.ai, die Projektseite unter vllm.ai.
Momentum-Verlauf
01.08.30.10.
Features
| Durchsatz/Latenz | Hoher Serving-Durchsatz durch PagedAttention und Continuous Batching (keine Zahlenangabe in der Quelle) |
| Lizenz | Apache License 2.0 |
| Plattform | NVIDIA CUDA, AMD ROCm, Intel XPU, Apple Silicon, CPU (x86, ARM, IBM Z) |
| Protokoll-Kompatibilität | OpenAI-kompatible API (/v1: Completions, Chat Completions) |
| Release-Datum | 2023 (Erstveröffentlichung); aktuelle Version 0.32.0 vom 18.10.2026 |
| Unterstützte Modelle/Provider | Decoder-only LLMs (Llama, Qwen, Gemma), MoE (Mixtral, DeepSeek-V3, GPT-OSS), Multimodal (LLaVA, Qwen-VL), Embedding-Modelle |