Agent-Harness

Ein Sprachmodell wie ChatGPT kann nur eines: Text erzeugen. Es kann von sich aus keine Datei öffnen, keine Webseite abrufen und kein Programm starten. Damit es das trotzdem schafft, schreibt man ein Programm drumherum. Dieses Programm nimmt den erzeugten Text, erkennt darin Handlungsanweisungen und führt sie aus. Anschließend schickt es das Ergebnis zurück an das Modell, damit dieses weiterarbeiten kann. Genau dieses Gerüst nennt man Agent-Harness. Der englische Begriff « harness » bedeutet Geschirr oder Gurtzeug, also etwas, das eine Kraft lenkt und in nutzbare Arbeit umsetzt.

Warum das Gerüst über Erfolg oder Fehlschlag entscheidet

Lange Zeit galt: Wer bessere Ergebnisse will, braucht ein größeres Modell. Das stimmt nur zur Hälfte. In der Praxis lösen zwei Firmen mit demselben Modell sehr unterschiedlich viele Aufgaben. Der Unterschied liegt im Harness. Er entscheidet, welche Informationen das Modell überhaupt sieht und welche Werkzeuge es benutzen darf.

Ein Beispiel aus der Softwareentwicklung: Bei einem bekannten Test müssen KI-Systeme echte Fehler in echten Programmen reparieren. Dieselben Modelle kamen dort je nach Gerüst auf sehr unterschiedliche Trefferquoten. Verbessert wurde nicht das Modell, sondern die Art, wie es Dateien durchsuchen und seine Lösung testen durfte. Solche Sprünge sind mehr als reine Kosmetik.

Wichtig ist auch die Sicherheit. Ein Harness darf ein Modell nicht blind alles tun lassen. Er legt fest, ob eine Datei gelöscht werden darf oder ob vorher ein Mensch zustimmen muss. Ohne diese Grenzen wäre ein handelnder KI-Agent im Firmennetz kaum verantwortbar.

Die Schleife aus Denken, Handeln und Beobachten

Im Kern läuft ein Harness als Schleife. Zuerst bekommt das Modell die Aufgabe und eine Liste der erlaubten Werkzeuge. Das Modell antwortet mit einem Vorschlag, etwa: « Suche in diesem Ordner nach dem Wort Login. » Der Harness erkennt diesen Aufruf, führt die Suche wirklich aus und hängt das Ergebnis an den Gesprächsverlauf an. Dann läuft die Runde von vorn, bis die Aufgabe erledigt ist oder ein Limit erreicht wird.

Zu den typischen Werkzeugen gehören ein Dateizugriff, eine Kommandozeile, eine Websuche und ein Testlauf für geschriebenen Code. Der Harness beschreibt jedes Werkzeug in Worten, damit das Modell weiß, wann es passt. Er prüft außerdem die Eingaben und fängt Fehlermeldungen ab. Stürzt ein Befehl ab, bekommt das Modell die Fehlermeldung zu lesen und kann es anders versuchen.

Ein zweiter Kernpunkt ist die Verwaltung des Gedächtnisses. Ein Modell kann pro Anfrage nur eine begrenzte Menge Text verarbeiten. Bei langen Aufgaben würde der Verlauf diese Grenze schnell sprengen. Deshalb kürzt der Harness ältere Schritte, fasst sie zusammen oder speichert Zwischenergebnisse in Dateien. Häufig verwechselt man Harness und Modell: Das Modell liefert nur Text, alle Regeln, Grenzen und Wiederholungen kommen aus dem Gerüst.

Von Coding-Assistenten bis zu Benchmark-Meldungen

Am bekanntesten sind Harnesses in Programmierwerkzeugen. Produkte wie Claude Code, Codex, Cursor oder GitHub Copilot bestehen im Wesentlichen aus einem Harness plus einem gemieteten Modell. Wenn ein solches Werkzeug selbstständig Dateien ändert und Tests laufen lässt, ist das die Arbeit des Gerüsts. Auch Buchungs- und Recherche-Assistenten, die im Browser klicken, funktionieren nach demselben Prinzip.

In Fachnews taucht der Begriff besonders bei Bestwerten auf. Meldet eine Firma einen neuen Rekord bei einem Agenten-Test, lohnt die Frage nach dem Harness. Manche Ergebnisse entstehen mit einem stark auf den Test zugeschnittenen Gerüst und lassen sich im Alltag nicht wiederholen. Umgekehrt geben Anbieter ihre Harnesses inzwischen oft als offenen Quellcode frei, damit andere die Zahlen nachprüfen können.

Für Anleger ist das ein wirtschaftlich interessanter Punkt. Modelle werden von wenigen großen Anbietern gebaut und sind austauschbar geworden. Der Harness dagegen enthält das Wissen über einen Beruf oder eine Branche. Genau dort entstehen derzeit viele neue Firmen, auch ohne eigenes Modell.