llama.cpp
#7 in Lokale LLM-RuntimesUnknown · seit 10. März 2023 · 2× · zuletzt 14. Okt. 2026
38
Momentum
llama.cpp ist eine quelloffene C/C++-Bibliothek zur Inferenz von großen Sprachmodellen, insbesondere im GGUF-Format, und läuft auf CPUs und GPUs ohne Python-Abhängigkeit. Das Projekt wurde im März 2023 von Georgi Gerganov veröffentlicht und wird heute im ggml-org-Repository auf GitHub entwickelt. Es enthält den HTTP-Server llama-server mit OpenAI-kompatibler API.
Momentum-Verlauf
16.07.14.10.
Features
| Lizenz | MIT |
| Plattform | CPU, Apple Silicon (Metal), CUDA, HIP, Vulkan, SYCL, CANN u.a. |
| Preis | Kostenlos (Open Source, MIT-Lizenz) |
| Protokoll-Kompatibilität | OpenAI-kompatible API (llama-server), zusätzlich Anthropic Messages API (/v1/messages) |
| Release-Datum | 10. März 2023 |
| Unterstützte Modelle/Provider | Dutzende Modellfamilien, u.a. LLaMA, Mistral, Qwen, Gemma; GGUF-Format |