DeepInfer
#3 in LLM-Inferenz & ServingDeepSeek · seit 2026-10-20 · 4× · zuletzt 21. Okt. 2026
68
Momentum
DeepInfer ist ein von DeepSeek als Open Source veröffentlichtes, internes Inferenz-Framework, das nach Herstellerangaben die Produktionsdienste von DeepSeek antreibt. Die Veröffentlichung umfasst offline Inferenz für DeepSeek-V4.1-Flash auf NVIDIA SM100 GPUs und Huawei Ascend 950 NPUs unter Apache-2.0-Lizenz. Ein vollständiger Serving-Stack (KV-Cache-System, Prefill/Decode-Trennung, Load Balancing) ist nicht enthalten.
Momentum-Verlauf
24.07.22.10.
Features
| Durchsatz/Latenz | Vom Hersteller selbst gemessen: Decode über 25.000 Tokens/s/GPU auf 64 GPUs (nicht unabhängig verifiziert) |
| Lizenz | Apache 2.0 (Code); Modell-Gewichte laut MarkTechPost MIT |
| Plattform | Linux, GCC 13+, Python 3.12, CUDA 13 (NVIDIA) bzw. CANN 9.2 (Huawei) |
| Protokoll-Kompatibilität | Begleitend deepseek-recipe wandelt Anfragen mit derselben Logik wie die offizielle DeepSeek-API in Token-Sequenzen um |
| Release-Datum | 20. Oktober 2026 |
| Unterstützte Modelle/Provider | Nur DeepSeek-V4.1-Flash (Default-Checkpoint DeepSeek-V4.1-Flash-1017) |