Terminal-Bench-Science

Terminal-Bench-Science ist eine Sammlung von Prüfungsaufgaben für KI-Programme. Getestet wird nicht Wissen, sondern Handeln. Die KI arbeitet in einem Terminal, also einem Textfenster, in dem man dem Computer Befehle als Zeilen eintippt. Dort soll sie Aufgaben aus dem Forschungsalltag lösen: Messdaten auswerten, ein Programm zum Laufen bringen, eine Rechnung durchführen. Am Ende prüft ein automatischer Test, ob das Ergebnis stimmt. Solche standardisierten Prüfungen nennt man Benchmarks, und dieser hier ist auf Naturwissenschaft zugeschnitten.

Wissen abfragen reicht nicht mehr

Lange wurden KI-Modelle mit Wissensfragen bewertet. Man legte ihnen Physikaufgaben oder Chemiefragen mit vier Antwortmöglichkeiten vor und zählte die Treffer. Bei den besten Modellen liegen diese Werte inzwischen nahe an der Bestnote. Damit lässt sich kaum noch unterscheiden, welches Modell wirklich besser ist. Der Test ist gesättigt, wie Fachleute sagen.

Gleichzeitig hat sich verschoben, wofür KI eingesetzt wird. Firmen wollen keine Modelle, die Fragen beantworten, sondern sogenannte Agenten. Ein Agent ist ein KI-Programm, das eine Aufgabe in mehreren Schritten selbstständig abarbeitet. Es darf Werkzeuge benutzen, Dateien öffnen, Programme starten und seine eigenen Fehler korrigieren. Ob ein Modell das kann, verrät eine Multiple-Choice-Frage überhaupt nicht.

Genau diese Lücke soll Terminal-Bench-Science schließen. Eine Aufgabe gilt nur dann als gelöst, wenn am Ende eine korrekte Datei oder Zahl herauskommt. Halbwegs richtige Erklärungen zählen nicht. Das macht die Ergebnisse hart und schwer zu beschönigen. Für Anleger und Redaktionen ist das interessant, weil solche Werte zeigen, ob teure Modelle im Arbeitsalltag wirklich etwas leisten.

Ablauf einer Testaufgabe

Jede Aufgabe startet in einer abgeschotteten Arbeitsumgebung, meist einem Container. Das ist ein kleiner, vom restlichen Rechner getrennter Computer aus Software. Darin liegen bereits Dateien, Datensätze und die nötigen Programme. Die KI bekommt eine Aufgabenbeschreibung in normaler Sprache. Danach ist sie auf sich gestellt.

Nun beginnt eine Schleife aus Befehl und Rückmeldung. Die KI tippt einen Befehl, das Terminal antwortet mit Text, oft mit einer Fehlermeldung. Aus dieser Antwort leitet sie den nächsten Schritt ab. Das kann dutzende Runden dauern. Diese Fähigkeit, aus einer Fehlermeldung den richtigen Schluss zu ziehen, ist der eigentliche Kern des Tests.

Zum Schluss läuft ein Prüfskript, das der Mensch vorher geschrieben hat. Es kontrolliert etwa, ob die erzeugte Ergebnisdatei die erwarteten Werte enthält. Es gibt nur bestanden oder nicht bestanden. Der Endwert ist der Anteil gelöster Aufgaben, oft in Prozent angegeben. Wichtig zur Abgrenzung: Terminal-Bench-Science misst wissenschaftliche Arbeitsabläufe, während der bekanntere Test SWE-Bench sich auf Fehler in Software-Projekten konzentriert.

Der Test in Produktankündigungen

Am häufigsten begegnet man dem Namen in Meldungen zu neuen Modellen. Wenn ein Anbieter ein neues System vorstellt, zeigt er meist eine Tabelle mit Benchmark-Werten. Zwischen Mathematik- und Programmier-Tests taucht dort zunehmend auch die Kategorie wissenschaftlicher Terminal-Aufgaben auf. Ein Sprung von beispielsweise 20 auf 40 Prozent gilt als starkes Argument.

Solche Zahlen sollte man vorsichtig lesen. Die Modelle werden gezielt auf bekannte Tests hin verbessert, was den Wert eines Benchmarks mit der Zeit entwertet. Außerdem verschweigen viele Tabellen, wie viele Versuche pro Aufgabe erlaubt waren und wie viel Rechenzeit das gekostet hat. Ein Modell, das doppelt so lange rechnet, hat einen unfairen Vorteil. Seriöse Vergleiche nennen diese Bedingungen mit.

Praktisch relevant wird das Thema in Laboren und Forschungsabteilungen. Dort gibt es viel Routinearbeit am Rechner: Daten umformatieren, Auswertungen wiederholen, Software installieren. Wenn KI-Agenten diese Schritte zuverlässig übernehmen, spart das echte Arbeitszeit. Tests wie dieser sind der Versuch, ehrlich zu messen, wie weit die Systeme davon noch entfernt sind.