DeepInfer
#4 in LLM-Inferenz & ServingUnknown · seit 2026-10-20 · 3× · zuletzt 23. Okt. 2026
46
Momentum
DeepInfer ist ein Open-Source-Inference-Framework von DeepSeek (deepseek-ai/DeepInfer auf GitHub), das laut Repository DeepSeek-V4.1-Flash im Offline-Betrieb ausführt. Es läuft auf NVIDIA SM100 GPUs und Huawei Ascend 950 NPUs unter Linux und ist unter Apache-2.0 lizenziert. Zum Serving-Stack gehören KV-Cache-System, Prefill/Decode-Disaggregation und Load-Balancing nicht zum Release.
Momentum-Verlauf
26.07.24.10.
Features
| Durchsatz/Latenz | Decode >25.000 Tokens/s/GPU auf 64 GPUs (Herstellerangabe, unabhängig nicht verifiziert) |
| Lizenz | Apache-2.0 (Code); Gewichte des Modells MIT |
| Plattform | Linux; GCC >= 13.0, Python 3.12, CUDA 13 (NVIDIA) bzw. CANN 9.2 (Ascend) |
| Protokoll-Kompatibilität | Strukturierte Ausgaben: Regex, JSON Schema, EBNF; kein öffentliches Chat-API enthalten |
| Release-Datum | 20. Oktober 2026 |
| Unterstützte Modelle/Provider | DeepSeek-V4.1-Flash (einziges unterstütztes Modell) |