Harness
Ein Harness ist das Programmgerüst um ein KI-Modell herum: Es stellt die Aufgaben, reicht Werkzeuge wie Suche oder Code-Ausführung durch und sammelt die Ergebnisse ein. Dasselbe Modell kann mit einem guten Harness deutlich bessere Resultate liefern als mit einem schlechten.
Ein Sprachmodell kann für sich genommen nur eines: Es bekommt Text und erzeugt Text als Antwort. Es kann von selbst nichts im Internet nachschlagen, keine Datei öffnen und kein Programm starten. Damit trotzdem echte Arbeit dabei herauskommt, baut man ein Programm drum herum. Dieses Programm heißt Harness, auf Deutsch etwa Geschirr oder Gestell. Es stellt dem Modell die Aufgabe, gibt die Antwort weiter, führt gewünschte Aktionen aus und schickt das Ergebnis zurück ins Modell. Der englische Name kommt vom Zuggeschirr eines Pferdes: Die Kraft steckt im Tier, aber erst das Geschirr macht sie nutzbar.
Warum zwei Firmen mit demselben Modell verschieden gut abschneiden
In Benchmarks, also standardisierten Testreihen, tauchen oft verwirrende Zahlen auf. Dasselbe Modell erreicht bei einem Anbieter 40 Prozent gelöste Aufgaben, bei einem anderen 70 Prozent. Der Unterschied liegt dann meist nicht am Modell, sondern am Harness. Wie oft darf es einen Fehler korrigieren? Bekommt es die Fehlermeldung des Programms zu sehen? Darf es Tests laufen lassen, bevor es abgibt? Jede dieser Entscheidungen verschiebt das Ergebnis.
Für Unternehmen ist das eine gute Nachricht. Ein eigenes Spitzenmodell zu trainieren kostet hunderte Millionen Euro. Ein besseres Harness zu bauen kostet Entwicklungszeit. Deshalb gibt es viele Firmen, die kein eigenes Modell besitzen, aber trotzdem ein gefragtes Produkt verkaufen. Ihr Wert liegt in dem Gerüst, nicht im Motor.
Umgekehrt heißt das auch: Wer Benchmark-Zahlen liest, sollte fragen, unter welchen Bedingungen sie entstanden sind. Ein Ergebnis ohne Angabe des Harness ist schwer zu vergleichen. Seriöse Veröffentlichungen legen deshalb offen, wie viele Versuche erlaubt waren und welche Werkzeuge zur Verfügung standen.
Die Schleife aus Denken, Handeln und Beobachten
Ein Harness arbeitet fast immer als Schleife. Zuerst formuliert es die Aufgabe für das Modell, oft ergänzt um Regeln und Hintergrundinformationen. Das Modell antwortet, etwa mit dem Wunsch, eine bestimmte Datei zu öffnen. Das Harness führt diesen Schritt aus und schickt das Ergebnis zurück. Dann beginnt der nächste Durchlauf, bis die Aufgabe erledigt ist oder ein Limit erreicht wird.
Zu einem Harness gehören außerdem Sicherheitsgrenzen. Es legt fest, welche Befehle erlaubt sind und welche nicht. Es begrenzt, wie viele Schritte ein Durchlauf höchstens dauern darf, damit die Kosten nicht explodieren. Und es entscheidet, welche Teile der bisherigen Unterhaltung das Modell noch sehen darf, denn dessen Aufnahmefähigkeit ist begrenzt.
Ein häufiger Irrtum ist, ein Harness sei einfach ein besonders langer Anweisungstext. Der Text ist nur ein Teil davon. Entscheidend ist die Programmlogik: Fehlerbehandlung, Wiederholungen, Werkzeuganbindung, Protokollierung. Verwandt, aber nicht dasselbe ist der Begriff Agent. Der Agent ist das handelnde System als Ganzes, das Harness ist die Maschinerie, die es zusammenhält.
Vom Coding-Assistenten bis zum Sicherheitstest
Am sichtbarsten sind Harnesses in Programmierwerkzeugen. Wenn ein Assistent in der Entwicklungsumgebung selbstständig Dateien ändert, Tests startet und Fehler nachbessert, steckt dahinter ein Harness. Auch Rechercheassistenten, die mehrere Suchanfragen hintereinander stellen und am Ende einen Bericht schreiben, funktionieren so.
In der Forschung gibt es zusätzlich den Evaluation Harness, also den Prüfaufbau. Er stellt tausende Testfragen automatisch, sammelt die Antworten ein und vergleicht sie mit den richtigen Lösungen. Ohne solche Prüfaufbauten wären die Ranglisten der KI-Modelle gar nicht erstellbar.
Auch bei Sicherheitsuntersuchungen spielt der Begriff eine Rolle. Prüfstellen und Anbieter testen, was ein Modell mit möglichst starkem Harness anrichten könnte. Die Überlegung dahinter: Ein Modell ist so gefährlich wie das beste Gerüst, das jemand darum bauen kann. Deshalb lesen Sie in Berichten zu KI-Risiken oft, ein Modell sei unter bestimmten Harness-Bedingungen getestet worden.