Benchmark-Harness

Wer wissen will, wie gut ein Computerprogramm Aufgaben löst, muss es testen. Bei Programmen, die Texte schreiben oder Fragen beantworten, gibt es dafür fertige Aufgabensammlungen mit bekannten Lösungen. Ein Benchmark-Harness ist die Software drumherum: Sie holt eine Aufgabe nach der anderen aus der Sammlung, gibt sie dem Programm, sammelt die Antworten ein und vergleicht sie mit den richtigen Lösungen. Am Ende steht eine Punktzahl, zum Beispiel 78 Prozent gelöste Aufgaben. Das englische Wort „harness“ bedeutet Geschirr oder Gespann. Gemeint ist genau das: eine Vorrichtung, die das zu prüfende Programm einspannt und immer gleich behandelt.

Warum Punktzahlen ohne Harness nichts wert sind

Firmen werben mit Testergebnissen ihrer KI-Modelle, und diese Zahlen bewegen Geld. Ein neues Modell, das bei einem bekannten Test besser abschneidet als die Konkurrenz, bekommt Schlagzeilen und Kunden. Damit so ein Vergleich überhaupt Sinn ergibt, müssen alle Modelle exakt dieselben Fragen in exakt derselben Form bekommen. Genau das garantiert der Harness.

Ohne ihn entstehen schnell unfaire Vergleiche. Schon die Formulierung der Anweisung an das Modell verändert das Ergebnis um mehrere Prozentpunkte. Auch die Frage, ob eine Antwort als richtig zählt, ist Auslegungssache: Gilt „4“ statt „vier“ als korrekt? Ein Harness legt solche Regeln in Code fest, statt sie dem Zufall oder dem Wohlwollen des Testers zu überlassen.

Deshalb sind die verbreiteten Harnesses frei zugänglich, etwa das Language Model Evaluation Harness. Jeder kann den Test damit nachstellen. Behauptet eine Firma eine bestimmte Punktzahl, können Außenstehende prüfen, ob sie stimmt. Ohne dieses gemeinsame Werkzeug wären Modellvergleiche reine Marketingaussagen.

Vom Aufgabenblatt zur Prozentzahl

Ein Durchlauf besteht aus vier Schritten. Zuerst lädt der Harness die Aufgabensammlung, also zum Beispiel 14.000 Multiple-Choice-Fragen aus Schule und Studium. Dann verpackt er jede Frage in eine feste Vorlage, etwa: Frage, darunter die Antwortmöglichkeiten A bis D, darunter das Wort „Antwort:“. Diese Vorlage ist für alle geprüften Modelle identisch.

Im dritten Schritt schickt der Harness den Text an das Modell und nimmt dessen Ausgabe entgegen. Der vierte Schritt ist die Auswertung. Bei Multiple-Choice-Fragen sucht der Harness in der Antwort nach dem Buchstaben. Bei Programmieraufgaben geht er weiter: Er führt den erzeugten Code tatsächlich aus und prüft, ob er die vorgegebenen Tests besteht. Bei freien Texten setzt man teils ein zweites Modell als Bewerter ein.

Ein häufiger Irrtum ist, der Harness sei der Test selbst. Das stimmt nicht. Die Aufgabensammlung ist der Benchmark, der Harness ist nur der Prüfungsablauf. Dasselbe Werkzeug kann Dutzende verschiedene Aufgabensammlungen abarbeiten. Umgekehrt kann dieselbe Sammlung in zwei unterschiedlichen Harnesses unterschiedliche Punktzahlen ergeben, weil die Vorlagen leicht abweichen.

Harness-Zahlen in Ranglisten und Produktankündigungen

Auf jeder Folie zu einem neuen KI-Modell stehen Balkendiagramme mit Namen wie MMLU, GSM8K oder SWE-bench. Diese Zahlen stammen fast immer aus einem Harness-Lauf. Auch die öffentlichen Ranglisten, etwa das Open LLM Leaderboard, sind nichts anderes als ein Harness, der automatisch über jedes neu eingereichte Modell läuft.

Wer Nachrichten über KI liest, sollte deshalb auf Details achten. Wichtig ist, welcher Harness benutzt wurde und wie viele Beispielaufgaben das Modell vorab sehen durfte. Firmen wählen manchmal die Einstellungen, die ihr eigenes Modell am besten aussehen lassen. Unabhängige Nachmessungen liegen dann ein paar Punkte tiefer.

Für Entwickler ist ein Harness außerdem ein Alltagswerkzeug. Wer ein Modell für den eigenen Betrieb anpasst, lässt nach jeder Änderung denselben Testlauf durchlaufen. So sieht man sofort, ob die neue Version wirklich besser geworden ist oder anderswo Fähigkeiten verloren hat.