Harness Engineering

Ein KI-Modell allein kann nur Text erzeugen. Es kann von sich aus keine Datei öffnen, keine Suche starten und nichts überprüfen. Damit es solche Dinge erledigt, braucht es ein Programm drumherum, das ihm Werkzeuge reicht, seine Antworten entgegennimmt und die nächsten Schritte auslöst. Dieses Programm nennt man im Englischen Harness, also etwa Geschirr oder Gespann. Harness Engineering ist die Arbeit, dieses Drumherum zu entwerfen, zu testen und zu verbessern. Das Modell bleibt dabei unverändert; verbessert wird nur, wie man es einspannt.

Warum gleiche Modelle unterschiedlich gut abschneiden

In den letzten Jahren ist deutlich geworden, dass dasselbe Modell je nach Umgebung sehr verschieden gute Ergebnisse liefert. Bei Programmieraufgaben trennen zwischen einem schlichten und einem sorgfältig gebauten Harness oft zweistellige Prozentpunkte in der Erfolgsquote. Das ist ein Unterschied, für den man sonst eine ganze Modellgeneration abwarten müsste. Firmen können so Fortschritte erzielen, ohne selbst ein Modell zu trainieren.

Das verschiebt auch die Frage, woran man einen Testwert eigentlich misst. Wenn ein Anbieter mit einem Benchmark-Ergebnis wirbt, also mit dem Abschneiden in einem standardisierten Aufgabentest, steckt darin immer beides: das Modell und das Harness. Zwei Zahlen sind deshalb nur vergleichbar, wenn die Umgebung offengelegt wird. Ein typischer Irrtum ist, eine hohe Punktzahl allein dem Modell zuzuschreiben.

Hinzu kommt der wirtschaftliche Aspekt. Ein Harness bestimmt, wie oft das Modell überhaupt aufgerufen wird, und jeder Aufruf kostet Rechenzeit und damit Geld. Ein schlecht gebautes Harness lässt das Modell dieselbe Datei zehnmal lesen. Ein gutes merkt sich das Ergebnis und spart den Rest.

Werkzeuge, Schleifen und Notbremsen

Ein Harness arbeitet meist in einer Schleife. Es schickt die Aufgabe an das Modell, liest dessen Antwort und prüft, ob darin die Anforderung eines Werkzeugs steht. Ist das der Fall, führt es die Aktion aus, etwa einen Programmtest oder eine Websuche. Das Ergebnis geht zurück an das Modell, und die Schleife beginnt von vorn. Das wiederholt sich, bis die Aufgabe gelöst ist oder eine Grenze erreicht wird.

Der Entwurf besteht vor allem aus Entscheidungen über Details. Welche Werkzeuge bekommt das Modell, und wie werden sie beschrieben? Wie viel vom bisherigen Verlauf darf im Arbeitsspeicher des Modells stehen, bevor Ältestes weggelassen wird? Wird ein Fehler als roher Text zurückgegeben oder vorher zusammengefasst? Jede dieser Entscheidungen verändert das Verhalten spürbar.

Wichtig sind außerdem die Notbremsen. Dazu zählen eine Höchstzahl an Durchläufen, ein Kostenlimit und Regeln, welche Befehle niemals ausgeführt werden dürfen. Ohne solche Grenzen kann sich ein System in einer endlosen Schleife festfahren. Vieles davon ist klassische Softwaretechnik, kein maschinelles Lernen.

Harness in Coding-Assistenten und Agentenprodukten

Am sichtbarsten ist Harness Engineering bei Programmierassistenten. Werkzeuge wie Claude Code, Cursor oder OpenAI Codex greifen teils auf dieselben Modelle zu. Was sie unterscheidet, ist genau dieses Drumherum: wie sie im Projekt suchen, wann sie Tests laufen lassen, wie sie Änderungen zur Bestätigung vorlegen.

Auch in Nachrichten taucht der Begriff auf, meist im Zusammenhang mit Agenten. Damit sind KI-Systeme gemeint, die mehrere Schritte selbstständig hintereinander ausführen. Wenn dort von einem verbesserten Harness die Rede ist, wurde keine neue Modellversion veröffentlicht, sondern die Steuerung umgebaut. Abzugrenzen ist das vom Prompt Engineering, bei dem nur die Formulierung der Anweisung verändert wird.

Für Anwender ist das vor allem beim Vergleich von Produkten relevant. Eine gute Frage an einen Anbieter lautet: Welche Werkzeuge hat euer System, und wann bricht es ab? Die Antwort sagt oft mehr über die Qualität aus als der Name des verwendeten Modells.