Model Harness

Wer wissen will, wie gut ein KI-System ist, muss es prüfen. Dafür gibt es Sammlungen von Testaufgaben: Mathematikaufgaben, Programmieraufgaben, Fragen zu Texten. Ein Model Harness ist das Programm, das diese Prüfung durchführt. Es lädt die Aufgaben, schickt sie an das System, sammelt die Antworten ein und vergleicht sie mit den richtigen Lösungen. Am Ende steht eine Zahl, etwa „78 Prozent korrekt“. Der englische Begriff „harness“ bedeutet Geschirr oder Halterung: Das Programm spannt das getestete System ein, damit es unter kontrollierten Bedingungen arbeitet.

Warum zwei Prozentzahlen selten dasselbe bedeuten

Ergebnisse aus Tests sind nur dann aussagekräftig, wenn die Bedingungen gleich sind. Genau hier liegt das Problem. Schon kleine Unterschiede in der Durchführung verschieben das Ergebnis um mehrere Prozentpunkte. Ob die Aufgabe mit oder ohne Beispiellösung gestellt wird, macht einen Unterschied. Ob man dem System erlaubt, laut mitzudenken, ebenfalls. Und ob eine Antwort als richtig zählt, wenn sie inhaltlich stimmt, aber anders formatiert ist, entscheidet die Auswertung.

Ein Harness legt all diese Entscheidungen fest und schreibt sie in Code. Damit wird ein Test wiederholbar. Andere Forscher können denselben Harness herunterladen und die Messung nachvollziehen. Ohne dieses gemeinsame Werkzeug wären Vergleichstabellen zwischen Anbietern praktisch wertlos.

Das erklärt auch, warum Firmen bei ihren Produktankündigungen manchmal höhere Werte nennen als unabhängige Tester. Oft rechnet niemand falsch. Die beiden Seiten haben nur unterschiedliche Harnesses benutzt. Deshalb steht in seriösen Berichten immer dabei, mit welchem Werkzeug und mit welchen Einstellungen gemessen wurde.

Vom Aufgabenblatt zur Prozentzahl

Ein Harness arbeitet in festen Schritten. Zuerst lädt er den Aufgabensatz, also eine Datei mit Fragen und den zugehörigen Musterlösungen. Dann verpackt er jede Frage in eine Anweisung an das Modell. Diese Anweisung ist immer gleich aufgebaut, damit kein Modell durch eine geschickte Formulierung bevorzugt wird.

Anschließend kommt die Auswertung, der heikelste Teil. Bei Multiple-Choice-Aufgaben ist das einfach: Der Harness prüft, ob der richtige Buchstabe genannt wurde. Bei Programmieraufgaben führt er den erzeugten Code aus und schaut, ob er die vorgesehenen Tests besteht. Bei offenen Textantworten wird es schwierig. Dort setzen manche Harnesses ein zweites KI-Modell als Prüfer ein, was neue Fehlerquellen eröffnet.

Wichtig ist die Abgrenzung: Ein Harness misst nur, er verändert das geprüfte System nicht. Er gehört damit zur Auswertung, nicht zum Training. Verwandt, aber nicht dasselbe ist der Benchmark. Der Benchmark ist die Aufgabensammlung selbst, der Harness die Maschinerie, die sie abarbeitet. Ein einziger Harness kann Dutzende verschiedene Benchmarks fahren.

Wo Harnesses in Rankings und Schlagzeilen auftauchen

Am bekanntesten ist die LM Evaluation Harness der Organisation EleutherAI. Sie ist frei verfügbar und wird von vielen Forschungsgruppen verwendet. Auch die öffentlichen Bestenlisten für frei verfügbare Sprachmodelle laufen über solche Werkzeuge. Wenn dort ein neues Modell auf Platz drei auftaucht, hat im Hintergrund ein Harness tausende Aufgaben abgearbeitet.

In Fachartikeln und Firmenblogs steht der Begriff meist im Kleingedruckten. Dort finden sich Sätze wie „gemessen mit unserem internen Harness“. Für Leser ist das ein nützliches Warnsignal. Interne Werkzeuge sind nicht öffentlich überprüfbar, ihre Zahlen sollte man vorsichtiger lesen als Werte aus einem offenen Harness.

Auch beim Thema Sicherheit spielen Harnesses eine Rolle. Behörden und Prüfstellen verlangen zunehmend Nachweise, dass ein System bestimmte Tests bestanden hat. Ein standardisierter Harness ist die technische Grundlage dafür. Ohne ihn bliebe die Frage, wie gut ein Modell wirklich ist, eine Sache von Eindrücken statt von Messungen.