LiteLLM
#25 in LLM-APIs & GatewaysLitellm · seit 2023 (erste Version, MIT-Lizenz-Copyright "2023 Berri AI") · 19× · zuletzt 04. Juli 2026
17
Momentum
LiteLLM ist ein quelloffenes AI-Gateway (Python SDK und Proxy-Server) der Firma Berri AI, das eine einheitliche, OpenAI-kompatible Schnittstelle für über 100 LLM-Anbieter bereitstellt. Es übernimmt Routing, Fallbacks, Kostentracking, Budgets, Rate-Limits und Logging über verschiedene Provider hinweg. Der Kern-Proxy ist unter MIT-Lizenz kostenlos selbst hostbar; eine kostenpflichtige Enterprise-Version ergänzt SSO, Audit-Logs, JWT-Auth und professionellen Support. LiteLLM wird u.a. von Netflix und Lemonade produktiv eingesetzt und geriet 2026 durch einen Sicherheitsvorfall (Kompromittierung des Open-Source-Projekts) in die Schlagzeilen.
Momentum-Verlauf
19.05.17.08.
Features
| Durchsatz/Latenz | 8ms P95-Latenz bei 1.000 RPS; stresstest-stabil bis 5.000 QPS auf 4-CPU/8GB-Instanz; Proxy fügt ca. 0,00325s Latenz ggü. Raw OpenAI API hinzu, +30% Durchsatz mit Load Balancer |
| Lizenz | MIT-Lizenz (Kernprojekt); Enterprise-Verzeichnis unter separater kommerzieller Lizenz |
| Plattform | Python SDK und Proxy-Server (Docker/GHCR-Images), Terraform-Module für AWS-Deployment, REST-API |
| Preis | Open Source kostenlos (self-hosted); Enterprise Basic ca. $250/Monat, Enterprise Premium ca. $30.000/Jahr (nicht offiziell standardisiert, Angebot nach Anfrage) |
| Protokoll-Kompatibilität | OpenAI-kompatible API (Chat Completions, Embeddings, Images, Audio, Batches, Rerank); zusätzlich A2A- und MCP-Unterstützung |
| Release-Datum | Erstveröffentlichung 2023 (MIT-Lizenz-Copyright 2023 Berri AI); aktive Releases mehrmals pro Monat |
| Unterstützte Modelle/Provider | 100+ LLM-Provider (u.a. OpenAI, Anthropic, Azure, Bedrock, VertexAI, Cohere, HuggingFace, Sagemaker, NVIDIA NIM); Modellkatalog mit 2600+ Modellen über 140+ Provider |