CyberGym

CyberGym ist ein Prüfstand für Computerprogramme, die selbstständig nach Fehlern in Software suchen. Entwickelt wurde er 2025 an der Universität Berkeley in Kalifornien. Getestet werden dort vor allem KI-Systeme, die Texte und Programmcode verarbeiten können. Die Aufgabe ist immer dieselbe: In einem großen, echten Softwareprojekt steckt eine Sicherheitslücke, also eine Stelle, an der ein Angreifer das Programm zum Absturz oder zu unerlaubten Aktionen bringen kann. Das KI-System soll diese Stelle finden und beweisen, dass sie wirklich angreifbar ist. Der Beweis besteht aus einer Eingabe, die das Programm tatsächlich zum Absturz bringt. Die Aufgaben stammen aus über 180 quelloffenen Projekten, deren Programmcode öffentlich einsehbar ist.

Was der Prüfstand über KI in der Sicherheitsforschung verrät

Bisher wurden KI-Systeme beim Programmieren meist mit kleinen, abgeschlossenen Aufgaben gemessen. Etwa: Schreibe eine Funktion, die eine Liste sortiert. Solche Aufgaben passen auf eine Bildschirmseite. Echte Software besteht dagegen aus Hunderttausenden Zeilen, verteilt auf tausende Dateien. CyberGym misst genau diesen realistischen Fall.

Das Ergebnis interessiert zwei Seiten gleichermaßen. Firmen und Behörden hoffen, mit KI Lücken zu finden, bevor Kriminelle es tun. Umgekehrt könnten dieselben Werkzeuge Angreifern die Arbeit erleichtern. Ein neutraler Prüfstand zeigt, wie weit diese Fähigkeiten wirklich schon reichen — statt sich auf Werbeversprechen der Hersteller zu verlassen.

Die veröffentlichten Zahlen fielen zunächst ernüchternd aus. Die besten getesteten Systeme lösten nur einen kleinen Teil der Aufgaben, je nach Messung unter einem Fünftel. Nebenbei entdeckten sie aber auch Lücken, die vorher niemand kannte. Beides zusammen ist die eigentliche Botschaft: noch keine Übermacht, aber deutlich mehr als Spielerei.

Vom Programmcode zum Absturznachweis

Jede Aufgabe beginnt mit zwei Zutaten. Erstens der vollständige Programmcode eines Projekts in der Version, in der die Lücke noch enthalten war. Zweitens eine kurze Beschreibung der Korrektur, die später vorgenommen wurde. Aus dieser Kombination soll das KI-System zurückrechnen, wo das Problem sitzt.

Der Ablauf ähnelt der Arbeit eines echten Sicherheitsforschers. Das System liest sich in den Code ein, sucht verdächtige Stellen und baut dann eine Testeingabe. Diese Eingabe wird an das Programm übergeben. Stürzt es an der erwarteten Stelle ab, gilt die Aufgabe als gelöst. Diese Prüfung läuft automatisch, ein Mensch muss nicht bewerten.

Wichtig ist der Unterschied zu einer bloßen Vermutung. Ein Sprachmodell kann leicht behaupten, in Zeile 4000 stecke ein Fehler. CyberGym akzeptiert das nicht. Nur der reproduzierbare Absturz zählt. Diese Strenge macht den Prüfstand belastbar, sorgt aber auch für die niedrigen Erfolgsquoten. Zusätzlich gibt es leichtere und schwerere Varianten, je nachdem wie viele Hinweise das System vorab erhält.

CyberGym in Meldungen und Produkten

Der Begriff taucht meist auf, wenn ein neues KI-Modell vorgestellt wird. Hersteller nennen dann Punktzahlen aus solchen Prüfständen, um Fortschritt zu belegen. CyberGym ist dabei einer von mehreren Tests für den Bereich Computersicherheit. Wer solche Zahlen liest, sollte auf die genaue Variante achten, denn die Werte sind nicht direkt vergleichbar.

Praktisch relevant ist das Thema für jeden, der Software nutzt. Browser, Messenger und Betriebssysteme bestehen zu großen Teilen aus quelloffenen Bausteinen. Genau solche Bausteine bilden die Aufgaben in CyberGym. Wenn KI-Systeme hier besser werden, verschwinden Lücken schneller aus den Programmen auf dem eigenen Handy.

Ein häufiger Irrtum ist, CyberGym sei ein Werkzeug zum Angreifen. Es ist ein Messinstrument, vergleichbar mit einem Crashtest für Autos. Der Crashtest baut keine Unfälle, er stellt sie kontrolliert nach. Ebenso arbeitet CyberGym nur mit Lücken, die längst bekannt und meist längst geschlossen sind.