LiteLLM
#25 en APIs & Gateways LLMLitellm · depuis 2023 (erste Version, MIT-Lizenz-Copyright "2023 Berri AI") · 19× · vu le 04 juil. 2026
17
Momentum
LiteLLM is an open-source AI gateway (Python SDK and proxy server) by Berri AI that provides a unified, OpenAI-compatible interface to 100+ LLM providers. It handles routing, fallbacks, cost tracking, budgets, rate limits, and logging across providers. The core proxy is MIT-licensed and free to self-host; a paid Enterprise tier adds SSO, audit logs, JWT auth, and professional support. LiteLLM is used in production by companies like Netflix and Lemonade, and made headlines in 2026 due to a security compromise of its open-source project.
Historique du momentum
19.05.17.08.
Fonctionnalités
| Durchsatz/Latenz | 8ms P95-Latenz bei 1.000 RPS; stresstest-stabil bis 5.000 QPS auf 4-CPU/8GB-Instanz; Proxy fügt ca. 0,00325s Latenz ggü. Raw OpenAI API hinzu, +30% Durchsatz mit Load Balancer |
| Lizenz | MIT-Lizenz (Kernprojekt); Enterprise-Verzeichnis unter separater kommerzieller Lizenz |
| Plattform | Python SDK und Proxy-Server (Docker/GHCR-Images), Terraform-Module für AWS-Deployment, REST-API |
| Preis | Open Source kostenlos (self-hosted); Enterprise Basic ca. $250/Monat, Enterprise Premium ca. $30.000/Jahr (nicht offiziell standardisiert, Angebot nach Anfrage) |
| Protokoll-Kompatibilität | OpenAI-kompatible API (Chat Completions, Embeddings, Images, Audio, Batches, Rerank); zusätzlich A2A- und MCP-Unterstützung |
| Release-Datum | Erstveröffentlichung 2023 (MIT-Lizenz-Copyright 2023 Berri AI); aktive Releases mehrmals pro Monat |
| Unterstützte Modelle/Provider | 100+ LLM-Provider (u.a. OpenAI, Anthropic, Azure, Bedrock, VertexAI, Cohere, HuggingFace, Sagemaker, NVIDIA NIM); Modellkatalog mit 2600+ Modellen über 140+ Provider |