SWE-Bench Pro

SWE-Bench Pro ist eine Prüfungsaufgabe für Computerprogramme, die selbst programmieren sollen. Die Prüfung besteht aus echten Fehlermeldungen aus echten Software-Projekten, die früher einmal Menschen behoben haben. Das Programm bekommt den Quelltext des Projekts und eine Beschreibung des Problems. Dann muss es die passenden Dateien finden und den Fehler selbst korrigieren. Ob die Lösung stimmt, entscheidet nicht ein Mensch, sondern ein automatischer Testlauf: Läuft die Software danach richtig, gilt die Aufgabe als bestanden. Der Name spielt auf Software Engineering an, also die Arbeit, größere Programme zu entwickeln und zu pflegen.

Was der Test über KI-Programmierer verrät

Fast jedes große KI-Unternehmen behauptet, sein Modell könne programmieren. Solche Behauptungen sind schwer zu überprüfen, weil jeder andere Beispiele auswählen kann. Ein gemeinsamer Test macht die Aussagen vergleichbar. Genau dafür gibt es SWE-Bench Pro: Alle Modelle lösen dieselben Aufgaben unter denselben Bedingungen.

Der Vorgänger SWE-Bench hatte ein Problem: Die Aufgaben stammten aus öffentlich zugänglichen Projekten. Große KI-Modelle lernen aber genau aus solchen öffentlichen Daten. Manche Modelle hatten die richtige Lösung also möglicherweise schon einmal gesehen. Das ist ungefähr so, als würde ein Schüler die Klausur vorab im Internet finden. Fachleute nennen dieses Problem Datenkontamination.

SWE-Bench Pro versucht, das zu verhindern. Ein Teil der Aufgaben stammt aus Projekten, die nicht frei einsehbar sind, und aus Firmen-Quelltexten. Außerdem sind die Aufgaben größer: Es geht nicht um eine geänderte Zeile, sondern oft um viele Änderungen in mehreren Dateien. Die Erfolgsquoten fallen deshalb deutlich niedriger aus als beim alten Test.

Vom Fehlerbericht zum bestandenen Testlauf

Jede Aufgabe besteht aus drei Teilen. Erstens dem Projekt in dem Zustand, in dem der Fehler noch vorhanden war. Zweitens der Problembeschreibung, wie sie ein Nutzer damals eingereicht hat. Drittens einer Sammlung automatischer Tests, die den Fehler nachweisen.

Die KI arbeitet dabei nicht als reiner Chat-Partner. Sie läuft als Agent, also als Programm, das in mehreren Schritten selbst Werkzeuge benutzt. Es darf Dateien durchsuchen, Quelltext lesen, Änderungen schreiben und Testläufe starten. Aus den Fehlermeldungen der Testläufe kann es lernen und den nächsten Versuch anpassen.

Am Ende zählt nur eine Zahl: der Anteil der Aufgaben, bei denen alle Tests durchlaufen. Diese Bewertung ist streng, aber auch etwas grob. Eine Lösung kann die Tests bestehen und trotzdem schlecht geschrieben sein. Umgekehrt kann eine sinnvolle Änderung durchfallen, weil sie den Fehler anders löst als ursprünglich gedacht.

Wo die Zahlen auftauchen

Wenn ein Unternehmen ein neues Sprachmodell vorstellt, steht in der Pressemitteilung meist eine Tabelle mit Testergebnissen. SWE-Bench und SWE-Bench Pro gehören dort zu den wichtigsten Einträgen, sobald es um Programmierfähigkeiten geht. Auch Fachmedien und Börsenanalysten greifen diese Prozentzahlen auf, weil Software-Entwicklung ein sehr großer Markt ist.

Indirekt begegnet man dem Test in Produkten. Programmierhilfen, die selbstständig Fehler beheben oder Änderungsvorschläge einreichen, werden intern gegen solche Aufgabensammlungen geprüft. Steigende Werte sind ein Hinweis darauf, dass diese Werkzeuge im Alltag zuverlässiger werden.

Ein verbreiteter Irrtum lohnt zum Schluss die Erwähnung. Eine hohe Punktzahl bedeutet nicht, dass eine KI den Beruf eines Entwicklers ersetzt. Der Test gibt immer ein klar umrissenes Problem mit fertigen Prüfkriterien vor. Im echten Arbeitsleben fehlen genau diese Vorgaben: Man muss erst herausfinden, was überhaupt gebaut werden soll.