Unknown · seit January 17, 2024 · 2× · zuletzt 29. Okt. 2026
24
Momentum
SGLang ist ein Open-Source-Serving-Framework für große Sprachmodelle und multimodale Modelle, gehostet von der gemeinnützigen Organisation LMSYS. Es nutzt RadixAttention für Prefix-Caching und bietet eine OpenAI-kompatible API. Die offizielle Dokumentation liegt unter docs.sglang.io, der Quellcode auf GitHub.
Momentum-Verlauf
01.08.30.10.
Features
| Durchsatz/Latenz | Bis zu 5x schnellere Inferenz mit RadixAttention (Projekt-Angabe, Januar 2024) |
| Lizenz | Apache License 2.0 |
| Plattform | Python, Rust, CUDA, C++; GPU-Hardware: NVIDIA, AMD, Intel Xeon, Google TPU, Ascend NPU, Moore Threads MUSA |
| Preis | Kostenlos (Open Source); Kosten entstehen nur für GPU-Infrastruktur |
| Protokoll-Kompatibilität | OpenAI-kompatible API, Anthropic-kompatible API (/v1/messages), Ollama-kompatible API |
| Release-Datum | 17. Januar 2024 (öffentlich vorgestellt) |
| Unterstützte Modelle/Provider | Llama, Qwen, DeepSeek, Mistral, Gemma, GLM, Kimi u. a. (LLMs); LLaVA, Qwen-VL, InternVL (multimodal) |