Terminal-Bench
Terminal-Bench ist ein Test, der prüft, wie gut KI-Programme echte Aufgaben auf einem Computer lösen, indem sie Befehle in ein Textfenster tippen. Gemessen wird nur, ob das Ergebnis am Ende tatsächlich funktioniert.
Viele Fachleute steuern einen Computer nicht mit der Maus, sondern über ein schlichtes Textfenster. Dort tippt man Befehle ein, etwa um Dateien zu kopieren, ein Programm zu starten oder einen Server einzurichten. Dieses Fenster nennt man Terminal. Terminal-Bench ist eine Sammlung von Aufgaben, die genau in so einem Fenster gelöst werden müssen — allerdings von einem KI-Programm statt von einem Menschen. Die KI bekommt eine Aufgabe in normaler Sprache beschrieben, darf dann selbst Befehle eintippen und die Rückmeldungen des Computers lesen. Am Ende wird automatisch geprüft, ob das Ergebnis wirklich stimmt. Eine solche standardisierte Prüfung mit festen Aufgaben und festen Regeln heißt Benchmark, also Vergleichstest.
Warum Tippen im Textfenster der härtere Test ist
Die meisten bekannten KI-Tests bestehen aus Fragen mit einer richtigen Antwort. Mathe-Aufgaben, Multiple-Choice, Übersetzungen. Bei Terminal-Bench zählt keine Antwort, sondern ein Zustand: Läuft der Server? Ist die Datei entpackt? Kompiliert das Programm? Das lässt sich nicht mit einer schön formulierten Erklärung erschleichen.
Genau darin liegt der Reiz für Unternehmen. Wenn eine KI eigenständig ein System aufsetzen oder einen Fehler beheben kann, ersetzt sie Arbeitsstunden von teuren Fachkräften. Umgekehrt ist ein Modell, das nur über Programmierung reden kann, im Betrieb wenig wert. Terminal-Bench versucht, diesen Unterschied messbar zu machen.
Die Ergebnisse fallen deshalb nüchtern aus. Während Modelle bei Wissensfragen oft über 90 Prozent erreichen, lösen sie hier je nach Version nur einen Teil der Aufgaben. Das ist kein Makel des Tests, sondern seine Aussage: Handeln ist schwerer als Antworten. Solche Benchmarks werden regelmäßig durch schwierigere Versionen ersetzt, sobald die Modelle zu gut werden.
Container, Aufgabe, Prüfskript
Jede Aufgabe läuft in einem abgeschotteten Miniatur-Computer, einem sogenannten Container. Das ist eine abgeschlossene Umgebung mit eigenem Betriebssystem, die man in Sekunden starten und wieder wegwerfen kann. So richtet die KI keinen Schaden an und alle Testläufe starten unter identischen Bedingungen.
Die KI erhält den Aufgabentext und darf dann in Runden arbeiten. Sie schlägt einen Befehl vor, das System führt ihn aus, die Ausgabe geht zurück an die KI. Aus dieser Ausgabe muss sie ableiten, was als Nächstes zu tun ist. Fehlermeldungen sind dabei der Normalfall, nicht die Ausnahme.
Am Schluss startet ein Prüfskript, ein kleines Testprogramm, das den Container untersucht. Es kontrolliert, ob die verlangte Datei existiert, ob der Dienst antwortet, ob die Zahlen stimmen. Bewertet wird nur bestanden oder nicht bestanden. Teilpunkte für einen guten Ansatz gibt es nicht — was in der Praxis ebenfalls niemand zahlt.
Wo die Zahlen in den Nachrichten auftauchen
Wenn ein Unternehmen ein neues Sprachmodell vorstellt, gehört heute fast immer eine Tabelle mit Benchmark-Ergebnissen dazu. Neben Mathe- und Programmiertests steht dort oft ein Wert für Terminal-Bench. Er gilt als Hinweis darauf, wie brauchbar das Modell als sogenannter Agent ist — also als Programm, das Aufgaben selbstständig in mehreren Schritten abarbeitet.
Praktisch begegnet man derselben Fähigkeit in Werkzeugen, die Entwickler direkt im Terminal benutzen. Man beschreibt dort ein Problem in einem Satz, das Programm sucht die Ursache im Code und schlägt eine Korrektur vor. Ob solche Werkzeuge zuverlässig arbeiten, hängt genau an den Fähigkeiten, die Terminal-Bench abfragt.
Beim Lesen solcher Zahlen lohnt Vorsicht. Ein hoher Wert bedeutet nicht, dass die KI beliebige Systemaufgaben beherrscht. Manche Anbieter lassen ihr Modell mehrere Versuche machen oder benutzen zusätzliche Hilfsprogramme. Vergleichbar sind Werte nur, wenn Testversion und Bedingungen gleich sind.