FEV-Bench
FEV-Bench ist ein Test, mit dem man prüft, wie gut Computerprogramme mit künstlicher Intelligenz echte Programmieraufgaben lösen, bei denen sie neue Funktionen in bestehenden Code einbauen und ihre Arbeit selbst überprüfen müssen. Statt kleiner Rätselaufgaben stehen darin Aufgaben aus echten Software-Projekten.
Wenn man wissen will, wie gut ein Computerprogramm eine Aufgabe löst, braucht man eine faire Prüfung. In der Technikbranche nennt man so eine standardisierte Prüfung einen Benchmark. Alle Programme bekommen dabei dieselben Aufgaben, und man vergleicht, wie viele sie richtig lösen. FEV-Bench ist ein solcher Test für Programme, die selbst Software schreiben. Die Abkürzung steht für Feature Engineering and Validation, also sinngemäß: eine neue Funktion einbauen und danach prüfen, ob sie wirklich funktioniert. Genau das sind die beiden Dinge, die dort verlangt werden.
Die Aufgaben stammen aus echten, öffentlich einsehbaren Software-Projekten. Ein Programm bekommt also nicht ein leeres Blatt, sondern einen bestehenden, oft großen Berg an bereits geschriebenem Code. Darin soll es eine neue Funktion ergänzen, ohne den Rest kaputtzumachen. Zusätzlich soll es eigene Prüfroutinen schreiben, die belegen, dass die neue Funktion tut, was sie soll. Beides zusammen ist deutlich näher an echter Berufsarbeit als eine isolierte Knobelaufgabe.
Warum Benchmarks für Programmierhilfen umstritten sind
Viele bekannte Programmiertests bestehen aus kleinen, in sich geschlossenen Aufgaben. Typisch ist etwa: Schreibe eine Funktion, die Zahlen sortiert. Solche Aufgaben stehen tausendfach im Internet. Wenn ein KI-Modell aus Internettexten gelernt hat, kennt es die Lösungen unter Umständen schon auswendig. Der Test misst dann Erinnerung statt Können. Fachleute nennen dieses Problem Kontamination der Testdaten.
FEV-Bench versucht, diesem Problem auszuweichen. Die Aufgaben hängen an konkreten Projekten mit eigener Struktur, eigenen Namen und eigenen Eigenheiten. Eine auswendig gelernte Standardlösung hilft dort wenig. Das Programm muss den vorhandenen Code lesen und verstehen, bevor es überhaupt anfangen kann. Damit rückt der Test näher an die Frage, die Firmen wirklich interessiert.
Diese Frage lautet: Kann eine KI Arbeit übernehmen, die sonst ein bezahlter Entwickler macht? Davon hängen Investitionen in Milliardenhöhe ab. Anbieter werben regelmäßig mit hohen Prozentzahlen auf Benchmarks. Ein Test, der realistischere Aufgaben stellt, macht solche Werbeaussagen überprüfbarer. Deshalb tauchen Ergebnisse aus FEV-Bench in Fachdiskussionen und Produktankündigungen auf.
Der Ablauf einer FEV-Bench-Aufgabe
Jede Aufgabe beginnt mit einem Projektstand, also dem Code zu einem bestimmten Zeitpunkt. Dazu kommt eine Beschreibung der gewünschten neuen Funktion, meist in normaler Sprache. Das getestete Programm darf sich im Projekt umsehen, Dateien öffnen und Änderungen vornehmen. Es arbeitet also nicht in einem einzigen Rutsch, sondern in mehreren Schritten. Solche Systeme, die selbstständig mehrere Arbeitsschritte hintereinander ausführen, nennt man Agenten.
Anschließend kommt der zweite Teil, die Validierung. Das Programm soll Tests schreiben, kleine Zusatzprogramme, die die neue Funktion automatisch ausprobieren. Sie rufen die Funktion mit bestimmten Werten auf und vergleichen das Ergebnis mit dem erwarteten Wert. Gute Tests decken auch Sonderfälle ab, etwa leere Eingaben oder unsinnige Werte. Schlechte Tests bestätigen nur das Offensichtliche.
Zur Bewertung nutzt man den Vergleich mit dem, was menschliche Entwickler tatsächlich getan haben. Man prüft, ob die neue Funktion die vorgesehenen Prüfungen besteht und ob die alten Funktionen unbeschädigt bleiben. Ein häufiger Irrtum ist, eine hohe Punktzahl mit fertiger Software gleichzusetzen. Bestandene Tests zeigen nur, dass keine der geprüften Situationen schiefging. Ungeprüfte Fehler bleiben unsichtbar.
FEV-Bench in Produktnachrichten und Ranglisten
Am häufigsten begegnet der Begriff in Meldungen über neue KI-Modelle. Anbieter veröffentlichen dann Tabellen mit Prozentwerten für verschiedene Tests. Neben bekannten Namen wie SWE-Bench taucht zunehmend FEV-Bench auf. Wer solche Tabellen liest, sollte auf die Bedingungen achten. Wie viele Versuche hatte das Modell? Durfte es Werkzeuge wie einen Code-Ausführer benutzen?
Indirekt begegnet man den Ergebnissen auch in Produkten. Programmierassistenten in Entwicklungsumgebungen oder automatische Code-Prüfer werden mit solchen Tests weiterentwickelt. Verbessert sich ein Modell im Test, landet die Verbesserung oft Monate später in einem Werkzeug, das Entwickler täglich nutzen. Für Anleger sind diese Zahlen ein grober Hinweis darauf, wie schnell sich der Bereich bewegt. Eine Garantie für den Nutzen im Alltag sind sie ausdrücklich nicht.