Benchmark

Ein Benchmark ist eine feste Sammlung von Testaufgaben mit bekannten richtigen Lösungen. Man legt sie verschiedenen Computerprogrammen vor und zählt, wie viel jedes davon korrekt löst. Weil alle genau dieselben Aufgaben bekommen, lassen sich die Ergebnisse direkt vergleichen. Das Prinzip ähnelt einer zentralen Abschlussprüfung: Nicht die Lehrkraft entscheidet über die Aufgaben, sondern eine unabhängige Stelle. Das Ergebnis ist meist eine einzige Zahl, etwa „79 Prozent gelöst“. Der Begriff kommt aus der Technik allgemein, wird heute aber besonders oft für Systeme benutzt, die menschliche Sprache verarbeiten.

Warum Benchmarks wichtig sind

Ohne Benchmarks gäbe es keine Möglichkeit, Behauptungen von Herstellern zu prüfen. Jedes Unternehmen würde einfach sagen, sein Modell sei das beste. Ein öffentlicher Test macht solche Aussagen überprüfbar. Deshalb sind Benchmark-Ergebnisse in der Branche eine Art Währung.

Die Zahlen haben auch finanzielle Wirkung. Wenn ein Anbieter bei einem bekannten Test an die Spitze springt, reagieren Kunden und Investoren darauf. Firmen entscheiden anhand solcher Werte, welches System sie einkaufen. Auch Forschungsgruppen brauchen sie, um zu zeigen, dass eine neue Idee tatsächlich etwas verbessert.

Gleichzeitig sind Benchmarks eine Schwachstelle. Eine einzelne Punktzahl sagt nichts darüber, ob ein System höflich antwortet, wenig Strom verbraucht oder in seltenen Fällen gefährlich falsch liegt. Wer nur auf die Rangliste schaut, übersieht solche Eigenschaften leicht.

Wie ein Benchmark funktioniert

Ein Benchmark besteht aus drei Teilen. Erstens den Aufgaben, zum Beispiel tausend Multiple-Choice-Fragen aus Biologie, Recht und Mathematik. Zweitens den offiziellen Musterlösungen. Drittens einer festen Regel, wie gezählt wird.

Der Ablauf ist immer gleich. Das zu prüfende System bekommt die Aufgaben, seine Antworten werden mit den Lösungen verglichen, daraus entsteht die Punktzahl. Bei Aufgaben mit klaren Antworten geht das automatisch. Bei offenen Aufgaben, etwa dem Schreiben eines Textes, bewerten Menschen oder ein zweites KI-Modell die Qualität.

Ein bekanntes Problem heißt Kontamination. Sprachmodelle lernen aus riesigen Textmengen aus dem Internet. Liegen die Testfragen samt Lösungen irgendwo im Netz, hat das Modell sie beim Lernen möglicherweise schon gesehen. Dann prüft der Test nur Erinnerung statt Können. Vergleichbar wäre eine Klassenarbeit, deren Lösungen vorher herumgereicht wurden.

Deshalb bauen Fachleute regelmäßig neue Benchmarks. Manche halten die Aufgaben geheim, andere erzeugen sie ständig neu. Sobald ein Test von fast allen Systemen gemeistert wird, gilt er als gesättigt und verliert seinen Wert.

Wo man Benchmarks begegnet

In Nachrichten über neue KI-Modelle tauchen fast immer Benchmark-Namen auf. MMLU prüft Schul- und Studienwissen in vielen Fächern. GSM8K enthält Textaufgaben aus der Mathematik. SWE-bench lässt Modelle echte Fehler in Programmcode reparieren. Wenn eine Meldung sagt, ein Modell habe „den Stand der Technik erreicht“, steckt dahinter meist ein solcher Test.

Beim Kauf von Hardware trifft man dasselbe Prinzip. Handytests, Grafikkarten-Vergleiche und Ladezeiten von Webseiten werden mit standardisierten Messläufen erhoben. Auch dort geht es darum, unterschiedliche Geräte unter gleichen Bedingungen zu vergleichen.

Sinnvoll ist ein kritischer Blick. Lohnend sind die Fragen, welcher Test verwendet wurde, wie groß der Vorsprung ausfällt und wer die Messung durchgeführt hat. Ein Vorsprung von einem Prozentpunkt in einem selbst gewählten Test bedeutet im Alltag oft gar nichts.