Mooncake
#4 in LLM-Inferenz & ServingMoonshot · seit Erste technische Report-Veröffentlichung: 26. Juni 2024; Transfer Engine Open-Source: 28. November 2024; Mooncake Store · 2× · zuletzt 19. Juli 2026
Mooncake ist eine quelloffene Serving-Infrastruktur für große Sprachmodelle, entwickelt von Moonshot AI (Betreiber des Kimi-Chatbots) gemeinsam mit der KVCache.AI-Forschungsgruppe. Die Architektur trennt Prefill- und Decode-Rechencluster (KVCache-zentrierte Disaggregation) und nutzt ungenutzte CPU-, DRAM- und SSD-Ressourcen von GPU-Clustern für einen verteilten KVCache-Pool. Kernkomponenten sind die Transfer Engine (RDMA-basierte Datenübertragung), Mooncake Store (verteilter KVCache-/Gewichtsspeicher) und P2P Store für Checkpoint-Transfers; das Projekt ist Apache-2.0-lizenziert und im PyTorch-Ökosystem gelistet. In Produktion verarbeitet Mooncake bei Moonshot AI über 100 Milliarden Tokens täglich auf tausenden Knoten.
Features
| Durchsatz/Latenz | 224k Tokens/s Prefill, 288k Tokens/s Decode (Kimi K2 auf 128 H200 GPUs); Transfer Engine bis 190 GB/s Bandbreite (8×400 Gbps RoCE) |
| Lizenz | Apache License 2.0 |
| Plattform | C++-basiertes Framework, Linux-Server mit GPU-Clustern (CUDA, MUSA, HIP, MACA, Cambricon MLU, Ascend) |
| Preis | Kostenlos, Open Source (kein kommerzielles Preismodell) |
| Protokoll-Kompatibilität | TCP, RDMA (InfiniBand/RoCEv2/eRDMA), AWS EFA, NVMe-oF, NVLink, HIP, Barex, CXL, Ascend-Transports; Integration in vLLM, SGLang, TensorRT-LLM, LMCache, LMDeploy, NIXL |
| Release-Datum | Initialer Technical Report: 26. Juni 2024; Transfer Engine: 28. November 2024; Mooncake Store: 7. März 2025 |
| Unterstützte Modelle/Provider | Modellagnostisch; produktiv u.a. für Kimi K1.5/K2/K2.5 (Moonshot AI) sowie DeepSeek, LLaMA3-70B in Integrationen genutzt |