SWE Marathon

Programme werden in Textdateien geschrieben, dem sogenannten Code. Wer Software verbessert, ändert diesen Text an vielen Stellen gleichzeitig. SWE Marathon ist eine Prüfung für KI-Systeme, die genau das übernehmen sollen. Der Name spielt auf die Distanz an: Es geht nicht um eine schnelle Kleinigkeit, sondern um Aufträge, an denen ein Mensch mehrere Tage sitzen würde. Die KI bekommt ein echtes, großes Softwareprojekt und eine Aufgabe dazu, etwa einen Fehler beheben oder eine neue Funktion einbauen. Am Ende zählt nur, ob die Software danach wirklich funktioniert. Solche Vergleichstests nennt man Benchmarks, also standardisierte Aufgabensammlungen, an denen sich verschiedene Systeme messen lassen.

Warum Ausdauer schwerer ist als Cleverness

Ältere Programmier-Benchmarks bestanden aus kurzen Häppchen. Eine typische Aufgabe war: schreibe eine Funktion, die eine Liste sortiert. Solche Tests bestehen heutige Modelle fast vollständig. Sie sagen aber kaum etwas darüber, ob eine KI die Arbeit eines Entwicklers übernehmen kann.

Der eigentliche Aufwand in der Softwareentwicklung liegt woanders. Man muss ein Projekt mit hunderttausenden Zeilen Code verstehen, die richtige Stelle finden und Nebenwirkungen vermeiden. Genau hier scheitern KI-Systeme oft. Sie starten stark, verlieren nach vielen Schritten aber das Ziel aus den Augen oder reparieren Dinge, die niemand kaputt gemacht hat.

Für Unternehmen ist diese Ausdauer der entscheidende Punkt. Eine KI, die zehn Minuten zuverlässig arbeitet, braucht ständige Aufsicht. Eine KI, die acht Stunden durchhält, verändert die Arbeitsteilung in einem Entwicklerteam grundlegend. Deshalb gilt ein Test wie SWE Marathon als aussagekräftiger Hinweis darauf, wie nah die Technik daran wirklich ist.

Ablauf einer Marathon-Aufgabe

Die KI arbeitet nicht in einem Chatfenster, sondern in einer abgeschlossenen Arbeitsumgebung. Dort hat sie Werkzeuge: Sie kann Dateien lesen, Text ändern, Befehle ausführen und Testprogramme starten. Diese Testprogramme prüfen automatisch, ob die Software noch tut, was sie soll. Man spricht bei so einem eigenständig handelnden System von einem Agenten.

Der Ablauf ist eine lange Schleife. Die KI überlegt, macht eine Änderung, lässt die Tests laufen und liest das Ergebnis. Aus den Fehlermeldungen leitet sie den nächsten Schritt ab. Das wiederholt sich hunderte oder tausende Male, ohne dass ein Mensch eingreift.

Bewertet wird am Schluss allein das Ergebnis. Laufen alle vorgesehenen Tests durch, gilt die Aufgabe als gelöst, sonst nicht. Diese Härte ist Absicht: Eine überzeugend klingende Erklärung bringt keine Punkte, wenn der Code nicht läuft. Ein bekannter Irrtum ist übrigens, dass hier vor allem Rechengeschwindigkeit zählt. Wichtiger ist, dass das Modell über lange Strecken den Kontext behält, also die Erinnerung an alles, was es bereits getan hat.

Wovon in Meldungen zu KI-Programmierern die Rede ist

Wenn Anbieter wie OpenAI, Anthropic oder Google ein neues Modell vorstellen, nennen sie fast immer Werte aus Programmier-Benchmarks. SWE Marathon gehört zu einer neueren Generation solcher Tests, die auf lange, realistische Aufträge setzen. Steigende Prozentwerte in diesen Tabellen sind der Grund, warum manche Firmen ihre Einstellungspläne für Junior-Entwickler öffentlich in Frage stellen.

Für Anleger und Beobachter sind diese Zahlen ein Fieberthermometer der Branche. Sie sind aber mit Vorsicht zu lesen. Ein Modell kann auf einen bestimmten Testsatz hin optimiert werden und in der Praxis trotzdem enttäuschen. Außerdem verrät ein Prozentwert nichts über die Kosten: Ein Marathon-Durchlauf verbraucht sehr viel Rechenzeit und damit Geld.

Im Alltag begegnet dir dieselbe Technik in abgespeckter Form. Programmierassistenten in Entwicklungswerkzeugen bearbeiten heute schon selbstständig mehrere Dateien und führen Tests aus. Was im SWE Marathon unter Laborbedingungen geprüft wird, landet meist ein bis zwei Jahre später in solchen Produkten.