llama.cpp
#14 in Lokale LLM-RuntimesLlama Cpp · seit März 2023 (Projektstart durch Georgi Gerganov) · 28× · zuletzt 30. Juni 2026
llama.cpp ist eine quelloffene C/C++-Bibliothek für die lokale und cloud-basierte Inferenz großer Sprachmodelle, ursprünglich von Georgi Gerganov entwickelt. Sie läuft ohne externe Abhängigkeiten wie Python oder PyTorch, unterstützt zahlreiche Hardware-Backends (CPU, CUDA, Metal, Vulkan, SYCL u.a.) und nutzt das quantisierte GGUF-Modellformat, um LLMs auch auf Consumer-Hardware effizient auszuführen. Der integrierte llama-server bietet eine OpenAI-kompatible HTTP-API und wird von Projekten wie Ollama als Backend genutzt. Das Projekt wird von der ggml-org-Community weiterentwickelt und veröffentlicht statt klassischer Versionsnummern fortlaufend build-getaggte Releases.
Features
| Deployment (Self-host/Cloud) | Self-hosted (lokal, Server) sowie Cloud-Deployment möglich, u.a. via Hugging Face Inference Endpoints |
| Durchsatz/Latenz | 3–8x schnellere Inferenz als Python-Frameworks, besonders auf CPU (laut Anbieter, hardwareabhängig) |
| Lizenz | MIT-Lizenz |
| Plattform | Linux, macOS, Windows, Android, Raspberry Pi, Browser (WebGPU); x86 (AVX/AVX2/AVX512/AMX), ARM, Apple Silicon (Metal) |
| Preis | Kostenlos, Open Source (keine Lizenzgebühren) |
| Protokoll-Kompatibilität | OpenAI-kompatible API (/v1/completions, /v1/chat/completions, /v1/embeddings) über llama-server |
| Release-Datum | März 2023 (Projektstart); fortlaufende Build-Releases, aktuell z.B. b9838 (Ende Juni 2026) |
| Unterstützte Modelle/Provider | Alle GGUF-kompatiblen Modelle: Llama 1/2/3, Mistral, Phi, Gemma, Qwen, DeepSeek, Yi, Solar, StableLM u.a. |