DeepSWE v1.1

DeepSWE v1.1 ist ein KI-Modell, das eigenständig Software repariert und weiterentwickelt. Man gibt ihm eine Aufgabe in Textform – zum Beispiel die Beschreibung eines Fehlers in einem Programm –, und das Modell sucht selbst nach der Ursache, schreibt neuen Code und überprüft das Ergebnis. Es handelt dabei nicht Schritt für Schritt nach festen Anweisungen, sondern plant seinen Ablauf selbst. Damit gehört es zur Klasse der sogenannten KI-Agenten: Systeme, die eine Aufgabe nicht nur beantworten, sondern aktiv und über mehrere Schritte hinweg bearbeiten. Entwickelt wurde es von Cognition AI, einem amerikanischen Start-up, das sich auf solche selbstständig agierenden Programmiersysteme spezialisiert hat.

DeepSWE v1.1 und der Wettbewerb um autonomes Programmieren

Der Maßstab in diesem Bereich ist der SWE-bench Verified, ein standardisierter Test für autonome Programmiersysteme. Er besteht aus echten, gemeldeten Fehlern aus öffentlichen Open-Source-Projekten auf GitHub – also realen Problemen, die echte Entwickler nicht einfach lösen konnten. Ein Modell besteht den Test, wenn es den Fehler vollständig und korrekt behebt, ohne Hilfe von außen.

DeepSWE v1.1 löst dort rund 60 Prozent aller Aufgaben. Dieser Wert klingt unspektakulär, ist im Vergleich aber außergewöhnlich: Noch Anfang 2024 galten 20 Prozent als gutes Ergebnis. DeepSWE v1.1 zählt zu den ersten öffentlich zugänglichen Modellen, die diese Marke weit übertreffen – und zeigt damit, wie schnell sich das Feld bewegt. Die Bedeutung liegt also nicht nur im Produkt selbst, sondern im Tempo der Entwicklung.

Wie DeepSWE v1.1 eine Fehlersuche durchführt

Die Grundlage ist ein vortrainiertes Sprachmodell – ein System, das Text versteht und erzeugt, ähnlich wie ein Chatbot. Darüber wurde eine Schicht gelegt, die das Modell dazu bringt, wie ein Softwareentwickler vorzugehen: Dateien lesen, Code gezielt verändern, Tests ausführen, Fehlermeldungen auswerten und bei Bedarf einen anderen Weg versuchen.

Trainiert wurde dieses Verhalten mit Reinforcement Learning, einem Lernverfahren, bei dem das Modell Aufgaben ausprobiert und eine Belohnung bekommt, wenn die Lösung korrekt ist – und keine, wenn nicht. Es lernt also nicht aus vorgefertigten Musterlösungen, sondern durch Versuch und Irrtum. Das ist ungewöhnlich für Programmiersysteme, weil es keine Zwischenbewertungen braucht: Entweder der Test läuft durch, oder nicht.

Ein wichtiger Unterschied zu gewöhnlichen Code-Assistenten: DeepSWE v1.1 arbeitet auf einem ganzen Projekt, nicht auf einem einzelnen Codeausschnitt. Es navigiert durch Ordnerstrukturen, liest relevante Stellen selektiv und entscheidet selbst, welche Dateien überhaupt relevant sind. Das nähert sich dem Vorgehen eines menschlichen Entwicklers stärker an als frühere Systeme.

DeepSWE v1.1 in der Praxis und in den Schlagzeilen

In der Softwareentwicklung wird solchen Systemen eine große wirtschaftliche Rolle vorhergesagt. Der Gedanke ist nicht, dass sie menschliche Entwickler ersetzen, sondern dass sie Routineaufgaben übernehmen: kleine Fehler beheben, veraltete Bibliotheken aktualisieren, automatisch Tests schreiben. Das gibt Entwicklern Zeit für komplexere Probleme.

In den Technologienachrichten taucht DeepSWE v1.1 als Beispiel dafür auf, wie schnell die Leistung solcher Agenten steigt. Investoren und Analysten beobachten den SWE-bench-Wert inzwischen ähnlich wie früher Benchmarks für Sprachverständnis – als Kennzahl dafür, wie nah KI-Systeme an echte Arbeit herankommen. Cognition AI selbst betreibt auf Basis solcher Modelle ein Produkt namens Devin, das als erster kommerzieller „KI-Softwareentwickler“ vermarktet wird.

Kritiker weisen darauf hin, dass SWE-bench nur einen Ausschnitt der Realität abbildet. Echte Projekte sind größer, unordentlicher und enthalten oft ungeschriebene Regeln, die kein Test erfasst. DeepSWE v1.1 ist ein Meilenstein – aber kein Beweis dafür, dass autonomes Programmieren im großen Maßstab bereits zuverlässig funktioniert.