Promptfoo
#8 in Prompt- & Dev-UtilitiesPromptfoo · seit Erste Open-Source-Veröffentlichung 2023 (Unternehmen gegründet 2023/2024) · 3× · zuletzt 16. Juli 2026
Promptfoo ist ein Open-Source-CLI- und Bibliotheks-Tool zum Testen, Evaluieren und Red-Teaming von LLM-Anwendungen, Agenten und RAG-Systemen. Es ermöglicht deklarative YAML-Konfigurationen, Vergleiche zwischen über 50 Modell-Providern (u.a. OpenAI, Anthropic, Google) sowie automatisiertes Vulnerability-Scanning (Prompt-Injection, Jailbreaks, PII-Leaks). Das Tool läuft lokal oder self-hosted per CLI/Web-UI, ist CI/CD-fähig und wurde im März 2026 von OpenAI übernommen, bleibt aber quelloffen unter MIT-Lizenz. Neben der kostenlosen Community-Version gibt es kostenpflichtige Enterprise- und On-Premise-Angebote mit erweiterten Governance-Funktionen.
Features
| Deployment (Self-host/Cloud) | Self-hosting lokal/CLI möglich; zusätzlich Promptfoo-Cloud-Deployments und On-Premise-Option für volle Infrastrukturkontrolle |
| Lizenz | Open Source, MIT-Lizenz |
| Plattform | CLI (Node.js) und Bibliothek, zusätzlich Web-Viewer/UI; Installation via npm, brew oder pip |
| Preis | Community-Edition kostenlos (Open Source); Enterprise & On-Premise mit individueller Preisgestaltung; kostenloser Tarif inkl. 10.000 Red-Team-Probes/Monat |
| Protokoll-Kompatibilität | Unterstützt Model Context Protocol (MCP) zur Anbindung externer Tool-Server und agentischer Workflows |
| Release-Datum | Erste Open-Source-Version 2023 |
| Unterstützte Modelle/Provider | 60+ Provider, u.a. OpenAI, Anthropic, Google, Azure, Bedrock, Ollama sowie eigene Python/JavaScript-Provider |