

llama.cpp
#2 in Lokale LLM-RuntimesGgml Org · seit 13. November 2026 (v1.0.0) · 7× · zuletzt 15. Nov. 2026
88
Momentum
llama.cpp ist eine Open-Source-Inferenz-Bibliothek und ein Server in C/C++ für LLM-Inferenz auf Consumer-Hardware sowie in der Cloud. Die Version 1.0.0 (libllama) und ggml 1.0.0 erschienen am 13. November 2026 und folgen nun Semantic Versioning. Die offizielle Produktseite ist llama.app; der Code liegt unter github.com/ggml-org/llama.cpp.
Momentum-Verlauf
17.08.15.11.
Features
| Durchsatz/Latenz | CPU+GPU-Hybridinferenz für Modelle größer als VRAM; v1.0.0: MoE-Expert-Cache im Host-Speicher mit konfigurierbarem CPU-Anteil |
| Lizenz | MIT |
| Plattform | Windows, macOS, Linux, Docker, Homebrew, Nix, MacPorts |
| Preis | Kostenlos (Open Source) |
| Protokoll-Kompatibilität | OpenAI-kompatibel (/v1/chat/completions, /v1/embeddings, /v1/models) und Anthropic-kompatibel (/v1/messages) |
| Release-Datum | 13.11.2026 (v1.0.0, libllama und ggml) |
| Unterstützte Modelle/Provider | Über 150 Modell-Architekturen (v1.0.0 neu: Kimi-K3.1-Pro, Ripple, xing4_0) |