SWE-bench Verified

SWE-bench Verified ist eine Sammlung von Prüfaufgaben für Computerprogramme, die selbstständig Software reparieren sollen. Die Aufgaben stammen aus echten Projekten, deren Programmtext öffentlich im Internet einsehbar ist. Jede Aufgabe besteht aus einer Fehlermeldung, die ein Mensch damals wirklich geschrieben hat, und dem kompletten Programmtext des Projekts. Das getestete System muss herausfinden, welche Datei es ändern muss, und dann die Änderung schreiben. Anschließend laufen automatische Prüfroutinen, die feststellen, ob der Fehler tatsächlich verschwunden ist. Die Bewertung ist deshalb hart und eindeutig: bestanden oder nicht bestanden.

Warum Fehlerbehebung ein härterer Test ist als Codeschnipsel

Ältere Programmiertests stellten kleine, in sich geschlossene Aufgaben. Etwa: schreibe eine Funktion, die eine Liste sortiert. Solche Aufgaben stehen tausendfach im Internet, und moderne Sprachmodelle lösen fast alle davon. Sie sagen damit kaum noch etwas über den praktischen Nutzen aus.

SWE-bench Verified ist näher an der Wirklichkeit. Ein Projekt kann aus tausenden Dateien bestehen, die niemand vollständig lesen kann. Das System muss also erst suchen, verstehen und erst dann schreiben. Genau daran scheitern viele Modelle, obwohl sie einzelne Funktionen makellos beherrschen.

Für Unternehmen ist der Test deshalb ein Anhaltspunkt für die Frage: Kann diese KI einem Entwicklerteam wirklich Arbeit abnehmen? Fast jede Ankündigung eines neuen großen Modells nennt inzwischen eine Punktzahl auf SWE-bench Verified. Die Werte sind schnell gestiegen. Vor wenigen Jahren löste die beste Software nur wenige Prozent der Aufgaben, heute liegen Spitzenmodelle bei rund zwei Dritteln bis drei Vierteln.

Woher die 500 geprüften Aufgaben kommen

Die Grundlage ist die ältere Sammlung SWE-bench mit über 2000 Aufgaben. Sie wurde automatisch aus Projekten zusammengestellt, in denen Programmierer ihre Änderungen öffentlich dokumentieren. Zu jeder Aufgabe gehören die ursprüngliche Fehlerbeschreibung und die Prüfroutinen, die nach der echten Korrektur geschrieben wurden.

Diese automatische Auswahl hatte Schwächen. Manche Aufgabenbeschreibungen waren so knapp, dass selbst erfahrene Menschen nicht erraten konnten, was gewünscht war. Bei anderen verlangten die Prüfroutinen genau die Formulierung des Originalautors, obwohl andere Lösungen ebenso richtig gewesen wären. Ein Modell konnte also scheitern, ohne einen Fehler gemacht zu haben.

Deshalb ließ man erfahrene Entwickler jede Aufgabe von Hand durchsehen. Übrig blieben 500 Aufgaben, die eindeutig beschrieben und fair prüfbar sind. Genau das bedeutet das Wort Verified im Namen: nicht härter, sondern sauberer. Punktzahlen auf der geprüften Fassung fallen deshalb höher aus als auf der alten Sammlung und dürfen nicht direkt verglichen werden.

Wo die Zahl auftaucht und was sie verschweigt

Am häufigsten begegnet man SWE-bench Verified in Pressemitteilungen und Modellkarten großer KI-Anbieter. Auch Programmierwerkzeuge, die direkt in der Entwicklungsumgebung mitarbeiten, werben mit den Werten. In Finanznachrichten dient die Zahl oft als Beleg dafür, dass ein Anbieter technisch vorne liegt.

Vorsicht ist trotzdem angebracht. Getestet wird nie ein Modell allein, sondern immer zusammen mit dem Gerüst, das ihm Dateien zeigt und Befehle ausführen lässt. Ein besseres Gerüst hebt die Punktzahl, ohne dass das Modell klüger geworden wäre. Vergleichbar sind Werte also nur bei ähnlichen Bedingungen.

Ein zweiter Einwand betrifft die Herkunft der Daten. Alle Aufgaben stammen aus öffentlichem Programmtext, den die Modelle beim Lernen gesehen haben könnten. Fachleute sprechen dann von Datenverunreinigung. Und die Aufgaben decken nur eine Programmiersprache und einige wenige Projekte ab. Eine hohe Punktzahl beweist deshalb nicht, dass ein System jede Programmieraufgabe beherrscht.