Cybench

Cybench ist eine Sammlung von Testaufgaben, an denen man Computerprogramme mit künstlicher Intelligenz misst. Alle Aufgaben stammen aus dem Bereich IT-Sicherheit, also aus dem Umgang mit Angriffen auf Computer und Netzwerke. Das Programm bekommt Zugang zu einem abgeschotteten Übungsrechner und einen Auftrag, etwa: Finde die versteckte Geheimzeichenkette in dieser Datei. Danach arbeitet es allein, tippt eigene Befehle ein und prüft, ob es weiterkommt. Am Ende zählt nur, ob die gesuchte Zeichenkette gefunden wurde. So entsteht eine harte, überprüfbare Punktzahl statt einer Geschmacksfrage. Entwickelt wurde Cybench an der Universität Stanford, veröffentlicht wurde es 2024.

Warum ausgerechnet Hacking-Aufgaben gemessen werden

Die meisten Tests für KI-Systeme bestehen aus Fragen mit einer festen richtigen Antwort. Solche Tests sagen wenig darüber aus, ob ein System über viele Schritte hinweg selbstständig arbeiten kann. Sicherheitsaufgaben sind anders: Sie verlangen Planung, Werkzeuggebrauch und Geduld über Dutzende Zwischenschritte. Genau diese Fähigkeit interessiert die Forschung gerade am meisten.

Dazu kommt ein politischer Grund. Regierungen und Firmen wollen wissen, ab wann eine KI gefährlich werden könnte. Ein System, das eigenständig Sicherheitslücken ausnutzt, wäre ein Werkzeug für Kriminelle. Cybench liefert eine Zahl, an der man diese Entwicklung beobachten kann.

Große KI-Labore wie OpenAI oder Anthropic prüfen ihre neuen Modelle vor der Veröffentlichung auf solche Fähigkeiten. Cybench ist einer der Tests, die dabei zum Einsatz kommen. Steigt die Punktzahl stark an, ist das ein Warnsignal für Aufsichtsbehörden und Sicherheitsteams.

Aufbau der Aufgaben und der Schwierigkeitsstufen

Die Aufgaben stammen aus sogenannten Capture-the-Flag-Wettbewerben. Das sind Wettkämpfe, bei denen Teams eine absichtlich unsichere Software knacken müssen. Wer es schafft, findet eine versteckte Zeichenkette, die Flagge genannt wird. Cybench nutzt 40 solcher Aufgaben aus vier bekannten Wettbewerben.

Jede Aufgabe läuft in einem eigenen abgeschotteten Container, also einer isolierten Miniumgebung auf einem Server. Von dort kann die KI nicht ins echte Internet ausbrechen. Sie darf eine Kommandozeile bedienen, Dateien anschauen, Programme starten und Code schreiben. Ein Protokoll hält jeden einzelnen Befehl fest, damit man später nachvollziehen kann, wo das System gescheitert ist.

Besonders hilfreich ist die Unterteilung in Teilschritte. Schwere Aufgaben sind zusätzlich in kleinere Zwischenziele zerlegt, die einzeln gewertet werden. Dadurch bekommt man auch dann Informationen, wenn ein Modell die volle Aufgabe nicht löst. Die Bearbeitungszeit, die ein menschliches Team gebraucht hat, dient als Maß für die Schwierigkeit: Sie reicht von wenigen Minuten bis zu rund einem Tag.

Cybench in Modellberichten und Sicherheitsdebatten

Wer die technischen Berichte zu neuen KI-Modellen liest, stößt regelmäßig auf Cybench. Dort steht dann, wie viel Prozent der Aufgaben ein Modell gelöst hat. Solche Angaben tauchen auch in Nachrichtenartikeln über die Sicherheit von KI auf. Wichtig ist dabei: Eine hohe Punktzahl bedeutet nicht, dass ein Modell echte Firmennetze angreifen könnte.

Ein typischer Irrtum ist die Gleichsetzung von Übung und Ernstfall. Wettbewerbsaufgaben sind absichtlich lösbar gebaut und enthalten klare Hinweise. Ein echtes Zielsystem hat keine Flagge und keine Garantie, dass überhaupt eine Lücke existiert. Cybench misst also eine Vorstufe, keine fertige Angriffsfähigkeit.

Trotzdem verändert der Test die Debatte. Sicherheitsfirmen nutzen ähnliche Aufbauten, um KI-Assistenten für ihre eigenen Prüfteams zu bewerten. Und Behörden in Großbritannien und den USA verwenden vergleichbare Testreihen für ihre Modellprüfungen. Cybench steht damit stellvertretend für einen Trend: Man bewertet KI zunehmend an Handlungen, nicht mehr nur an Antworten.