SAEP

SAEP ist eine Abkürzung, die im KI-Umfeld für mehrere ähnliche Konzepte steht – am gebräuchlichsten für « Scalable AI Evaluation Protocol », also ein skalierbares Verfahren zur Bewertung von KI-Systemen. Gemeint ist damit ein strukturierter Rahmen von Tests und Kriterien, nach dem man prüft, ob ein KI-System sicher, verlässlich und fair arbeitet. Dabei spielt es keine Rolle, wie groß oder technisch verschieden das jeweilige System ist – das Protokoll soll auf alle anwendbar sein. Das Ziel ist, Bewertungen vergleichbar zu machen, so wie Schulnoten nach demselben Maßstab vergeben werden, egal von welchem Lehrer.

Warum einheitliche Bewertungsmaßstäbe für KI zählen

Ohne ein gemeinsames Bewertungsschema beschreibt jedes Unternehmen seine KI nach eigenen Regeln. Ein Modell kann intern als « sicher » gelten, weil es einen hauseigenen Test bestanden hat – ob ein anderes Unternehmen denselben Begriff genauso versteht, ist damit nicht gesagt. Das erschwert es Behörden, Journalisten und Nutzern, KI-Systeme miteinander zu vergleichen oder Risiken einzuschätzen.

Ein standardisiertes Protokoll wie SAEP schafft eine gemeinsame Sprache. Es legt fest, welche Szenarien getestet werden müssen, welche Schwellenwerte akzeptabel sind und wie Ergebnisse dokumentiert werden. Das ist vor allem dann relevant, wenn Gesetze ins Spiel kommen: Der EU AI Act etwa fordert für Hochrisiko-KI-Systeme umfangreiche Nachweise. SAEP-ähnliche Rahmenwerke sollen diese Nachweise liefern können.

Ein häufiger Irrtum ist, dass es sich dabei um einen einmaligen Abnahmetest handelt. In Wirklichkeit sind solche Protokolle auf kontinuierliche Überwachung ausgelegt: Ein Modell kann nach einem Update neue Schwachstellen entwickeln, also muss es erneut geprüft werden.

Wie ein SAEP-Durchlauf abläuft

Ein typisches Evaluationsprotokoll dieser Art gliedert sich in mehrere Ebenen. Zuerst werden Leistungstests durchgeführt: Löst das Modell klar definierte Aufgaben korrekt und schnell? Dann folgen Robustheitstests, bei denen das System mit absichtlich missverständlichen oder fehlerhaften Eingaben konfrontiert wird. Anschließend prüft man auf Verzerrungen – etwa ob das Modell bestimmte Bevölkerungsgruppen systematisch schlechter behandelt.

Entscheidend ist, dass alle Testfälle vorab festgelegt und öffentlich dokumentiert sind. So kann ein externer Prüfer denselben Test wiederholen und nachvollziehen, ob ein Anbieter ehrliche Ergebnisse veröffentlicht hat. Dieses Prinzip der Reproduzierbarkeit kennt man aus der Wissenschaft: Ein Experiment, das niemand nachstellen kann, gilt als nicht bewiesen.

Die « Skalierbarkeit » im Namen bezieht sich darauf, dass dasselbe Protokoll auf ein kleines Sprachmodell für ein Mobiltelefon genauso angewendet werden kann wie auf ein großes Rechenzentrumsmodell. Die konkreten Schwellenwerte unterscheiden sich, die Struktur bleibt gleich.

SAEP in der Praxis und in der Debatte

In der Fachpresse taucht SAEP vor allem im Zusammenhang mit KI-Regulierung auf. Wenn Regierungen über Zulassungsverfahren für KI-Produkte diskutieren, brauchen sie eine Antwort auf die Frage: Wer prüft das, und wie? Organisationen wie das National Institute of Standards and Technology (NIST) in den USA oder das europäische CEN/CENELEC arbeiten an ähnlichen Rahmenwerken, um diese Lücke zu füllen.

Für Unternehmen, die KI einsetzen wollen, bedeutet ein bestandenes SAEP-Audit eine Art Gütesiegel. Es signalisiert Partnern und Kunden, dass das System nach nachvollziehbaren Kriterien geprüft wurde. Große Technologiekonzerne wie Google, Microsoft und Anthropic veröffentlichen eigene Sicherheitskarten (sogenannte « Model Cards ») – SAEP versucht, solche Eigenangaben durch externe Standards zu ergänzen oder zu ersetzen.

Die Debatte ist noch nicht abgeschlossen. Kritiker bemängeln, dass kein einziges Protokoll alle relevanten Risiken abdecken kann, weil sich KI-Systeme und ihre Einsatzgebiete zu schnell verändern. Befürworter halten dagegen: Kein Standard ist perfekt, aber kein Standard zu haben ist schlimmer.