Coding-Benchmark
Ein Coding-Benchmark ist ein standardisierter Test, mit dem geprüft wird, wie gut ein KI-System Programmieraufgaben löst. Die geschriebenen Programme werden automatisch ausgeführt und mit vorgegebenen Prüfungen verglichen, sodass eine Prozentzahl herauskommt.
Ein Coding-Benchmark ist eine feste Sammlung von Programmieraufgaben, mit der man Computerprogramme vergleicht, die selbst Programmcode schreiben. Alle getesteten Systeme bekommen genau dieselben Aufgaben, damit die Ergebnisse vergleichbar sind. Eine Aufgabe besteht meist aus einer kurzen Beschreibung, etwa: schreibe eine Funktion, die aus einer Liste von Zahlen die zweitgrößte heraussucht. Der geschriebene Code wird danach automatisch ausgeführt und mit fertigen Prüfschritten kontrolliert, sogenannten Tests. Läuft der Code bei allen Tests korrekt durch, gilt die Aufgabe als gelöst. Am Ende steht eine Zahl, zum Beispiel: 62 Prozent der Aufgaben gelöst.
Warum Firmen mit Prozentzahlen aus Code-Tests werben
Programmieren ist eine der wenigen Fähigkeiten, bei denen sich Richtig und Falsch fast automatisch feststellen lässt. Bei einem Aufsatz streiten sich Menschen über die Bewertung. Bei Code entscheidet der Computer: er läuft oder er läuft nicht. Deshalb sind Coding-Benchmarks bei Anbietern von KI-Systemen besonders beliebt, wenn sie neue Versionen vorstellen.
Dazu kommt ein wirtschaftlicher Grund. Software zu entwickeln ist teuer, und Programmierer sind gut bezahlt. Wenn ein KI-System einen messbaren Teil dieser Arbeit übernimmt, ist das für Unternehmen sofort in Geld umzurechnen. Genau darum reagieren Aktienkurse von Tech-Firmen auf solche Testergebnisse stärker als auf viele andere Ankündigungen.
Man sollte die Zahlen aber nicht überschätzen. Ein hoher Wert bedeutet nicht, dass das System ein ganzes Programm eigenständig entwickeln kann. Getestet werden meist kleine, klar umrissene Aufgaben. Die eigentliche Arbeit in einem Projekt besteht oft darin, herauszufinden, was überhaupt gebaut werden soll.
Von der Aufgabenbeschreibung zur Prozentzahl
Der Ablauf ist bei fast allen Coding-Benchmarks gleich. Zuerst gibt es eine Sammlung von Aufgaben mit passenden Tests, die von Menschen zusammengestellt wurde. Das KI-System bekommt eine Aufgabe als Text und liefert Code zurück. Dieser Code wird in einer abgeschotteten Umgebung ausgeführt, damit er nichts kaputt machen kann. Bestehen alle Tests, zählt die Aufgabe als Punkt.
Die Tests sind der eigentliche Kern. Sie prüfen nicht, ob der Code hübsch aussieht, sondern ob er die erwarteten Ergebnisse liefert. Für die Zweitgrößte-Aufgabe würde man etwa prüfen: Was passiert bei einer Liste mit nur einer Zahl? Was bei doppelten Werten? Genau an solchen Randfällen scheitern KI-Systeme häufig, obwohl der Code auf den ersten Blick richtig wirkt.
Ein bekanntes Problem heißt Kontamination: Die Aufgaben stehen oft frei im Internet. KI-Systeme lernen aus riesigen Textmengen aus dem Netz und haben die Lösungen möglicherweise schon gesehen. Dann testet man nicht Können, sondern Erinnerung. Es ist wie eine Klassenarbeit, deren Lösungen der Schüler vorher auswendig gelernt hat. Deshalb entstehen ständig neue Benchmarks mit frischen Aufgaben, etwa aus aktuellen Fehlerberichten echter Softwareprojekte.
Bekannte Testsammlungen und wo ihre Werte auftauchen
Zwei Namen liest man in Nachrichten besonders oft. HumanEval besteht aus rund 160 kleinen Programmieraufgaben und ist der ältere, einfachere Test. SWE-bench arbeitet mit echten Fehlermeldungen aus großen Open-Source-Projekten, also frei zugänglicher Software. Dort muss das System sich in tausenden Dateien zurechtfinden und an der richtigen Stelle etwas ändern. Deshalb sind die Prozentwerte dort deutlich niedriger.
Begegnen wirst du diesen Zahlen vor allem in Pressemitteilungen, Börsenmeldungen und Vergleichstabellen von Anbietern wie OpenAI, Anthropic oder Google. Auch Ranglisten im Netz, sogenannte Leaderboards, sortieren Modelle nach solchen Ergebnissen. Wer Werbeaussagen wie « neuer Bestwert im Programmieren » liest, sollte immer nachsehen, welcher Benchmark gemeint ist.
Praktisch spürbar ist das Ganze in Programmierhilfen wie GitHub Copilot oder in Chat-Assistenten, die Code vorschlagen. Ob so ein Werkzeug im Alltag wirklich hilft, sagt ein Benchmark allerdings nur begrenzt. Nützlicher ist oft die Frage, wie zuverlässig es bei den eigenen Aufgaben arbeitet und wie leicht sich Fehler finden lassen.