Real-SWE
Real-SWE bezeichnet Testverfahren, bei denen ein KI-System echte, dokumentierte Programmierprobleme aus laufenden Softwareprojekten lösen muss, statt künstlich erdachte Aufgaben. Gemessen wird nicht die Eleganz des Codes, sondern ob die automatischen Tests des Projekts danach durchlaufen.
Software wird von Menschen in Teams geschrieben, und dabei bleiben ständig Fehler und offene Wünsche liegen. Diese werden in einer Art öffentlicher Aufgabenliste festgehalten, oft auf Plattformen wie GitHub. Real-SWE nennt man Testverfahren, bei denen ein KI-System genau solche echten, bereits dokumentierten Aufgaben aus realen Projekten bearbeiten soll. Der Name kommt vom englischen „Real Software Engineering“, also echte Softwareentwicklung. Der Gegensatz dazu sind kleine, eigens erfundene Übungsaufgaben, wie man sie aus dem Informatikunterricht kennt. Der Anspruch ist also: nicht Puzzle lösen, sondern in einem großen, gewachsenen Programm eine echte Änderung vornehmen, die funktioniert.
Warum Übungsaufgaben die Fähigkeiten überschätzen
Jahrelang wurden Programmierfähigkeiten von KI-Systemen mit kurzen, klar umrissenen Aufgaben gemessen. Typisch war: schreibe eine Funktion, die eine Liste sortiert. Solche Aufgaben stehen millionenfach im Internet, und die Modelle haben sie beim Training gesehen. Hohe Punktzahlen sagten deshalb wenig darüber aus, ob ein System in einem echten Projekt nützlich ist.
Echte Projekte sind anders gebaut. Ein mittelgroßes Open-Source-Programm hat schnell hunderttausend Zeilen Code, verteilt auf tausende Dateien. Wer dort einen Fehler beheben will, muss erst herausfinden, wo das Problem überhaupt sitzt. Oft ist die Fehlerbeschreibung vage, etwa „Programm stürzt bei großen Dateien ab“. Diese Suche ist häufig schwieriger als die eigentliche Korrektur, die am Ende vielleicht drei Zeilen umfasst.
Für Unternehmen hängt an dieser Frage viel Geld. Wenn ein KI-System einen spürbaren Teil der alltäglichen Wartungsarbeit übernimmt, verändert das die Kostenrechnung ganzer Entwicklungsabteilungen. Deshalb tauchen Real-SWE-Ergebnisse regelmäßig in Quartalsberichten und Produktankündigungen auf. Und deshalb lohnt es sich, genau hinzusehen, was da eigentlich gemessen wurde.
Wie eine echte Aufgabe zur Prüfungsfrage wird
Die Aufgaben stammen aus der Vergangenheit realer Projekte. Man sucht eine gemeldete Fehlermeldung heraus, zu der ein Mensch später eine Lösung geschrieben hat. Die Lösung wird entfernt, die Fehlermeldung bleibt. Das KI-System bekommt nun den Zustand des Projekts von damals und die Beschreibung des Problems. Es soll selbst herausfinden, welche Dateien es ändern muss.
Bewertet wird automatisch. Softwareprojekte enthalten sogenannte Tests: kleine Zusatzprogramme, die prüfen, ob alles noch wie erwartet arbeitet. Ein Test für die konkrete Fehlermeldung muss nach der Änderung erfolgreich sein. Gleichzeitig dürfen die bestehenden Tests nicht kaputtgehen. Es zählt also nur das Ergebnis, nicht ob der Lösungsweg dem des Menschen ähnelt.
Ein bekannter Fallstrick ist dabei die Verunreinigung der Testdaten. Wenn die Originallösung längst öffentlich im Internet steht, kann das Modell sie beim Training gelesen haben. Dann prüft man Erinnerung statt Können. Neuere Varianten verwenden deshalb nur Aufgaben, die nach dem Trainingsschluss des Modells entstanden sind. Die Punktzahlen fallen dadurch oft deutlich niedriger aus.
Real-SWE in Produktankündigungen und Nachrichten
Wenn ein Anbieter ein neues Sprachmodell vorstellt, steht fast immer ein Prozentwert für gelöste echte Programmieraufgaben in der Mitteilung. Diese Zahlen sind in wenigen Jahren von einstelligen Werten auf über siebzig Prozent gestiegen. Sie werden in Fachmedien und an der Börse als Gradmesser für den Fortschritt gelesen. Man sollte sie trotzdem vorsichtig interpretieren.
Denn die Werte hängen stark davon ab, wie viel Hilfe das System bekommt. Manche Messungen erlauben mehrere Versuche und wählen den besten aus. Andere geben dem Modell Werkzeuge, mit denen es den Code durchsuchen und Tests selbst ausführen kann. Ein direkter Vergleich zweier Zahlen aus verschiedenen Ankündigungen ist deshalb oft irreführend.
Im Alltag begegnet dir dieselbe Idee in Programmierassistenten, die in Entwicklungsumgebungen eingebaut sind. Solche Werkzeuge bekommen ein Fehlerticket zugewiesen und schlagen selbstständig eine Änderung vor. Ein Mensch prüft den Vorschlag und übernimmt ihn oder nicht. Real-SWE ist damit weniger ein einzelnes Produkt als der Maßstab, an dem diese Werkzeuge gemessen werden.