Benchmarking

Wenn zwei Läufer wissen wollen, wer schneller ist, laufen sie dieselbe Strecke. Beim Benchmarking passiert das mit Computerprogrammen. Man gibt allen dieselbe Sammlung von Testaufgaben und zählt, wie viele jedes Programm richtig löst. Diese Sammlung nennt man einen Benchmark. Sie enthält oft mehrere tausend Aufgaben: Matheübungen, Textfragen, Programmieraufträge. Am Ende steht eine Zahl, meist ein Prozentwert, und die Programme lassen sich in eine Rangliste sortieren.

Warum die Ranglisten über Milliarden entscheiden

Ein KI-Programm ist von außen kaum zu beurteilen. Man sieht nicht hinein, und einzelne gute Antworten beweisen nichts. Benchmarks sind der einzige halbwegs vergleichbare Maßstab, den die Branche hat. Deshalb stehen sie im Zentrum fast jeder Produktankündigung.

Für Firmen hängt daran sehr viel Geld. Wer eine Rangliste anführt, gewinnt Kunden, Schlagzeilen und Investoren. Der Aktienkurs von Nvidia oder die Bewertung eines Start-ups reagieren auf solche Meldungen. Auch Unternehmen, die KI einkaufen, schauen zuerst auf Benchmark-Werte, bevor sie einen Vertrag unterschreiben.

Gleichzeitig ist Vorsicht angebracht. Ein hoher Wert in einem Test bedeutet nicht, dass ein Programm im Alltag gut arbeitet. Ein Modell kann Matheaufgaben glänzend lösen und trotzdem in einem Kundengespräch unbrauchbar sein. Benchmarks messen einen Ausschnitt, nicht die ganze Fähigkeit.

Aufgabensammlung, Punktwertung, Rangliste

Ein Benchmark besteht aus zwei Teilen: den Aufgaben und den zugehörigen richtigen Lösungen. Die Aufgaben werden dem Programm vorgelegt, seine Antworten mit den Lösungen verglichen. Bei Multiple-Choice-Fragen ist das einfach zu prüfen. Bei Programmieraufgaben lässt man den erzeugten Code laufen und schaut, ob er das Gewünschte tut.

Schwieriger wird es bei offenen Antworten, etwa einer Zusammenfassung. Hier gibt es keine einzige richtige Lösung. Ein verbreiteter Ausweg: Menschen bewerten zwei Antworten im direkten Vergleich und wählen die bessere. Aus vielen solchen Duellen entsteht eine Punktzahl, ähnlich wie bei Schachranglisten. Manchmal übernimmt auch ein anderes KI-Programm die Bewertung, was billiger, aber angreifbar ist.

Das größte Problem heißt Datenkontamination. KI-Programme lernen aus riesigen Textmengen aus dem Internet. Stehen die Testaufgaben samt Lösungen irgendwo im Netz, hat das Programm sie beim Lernen vielleicht schon gesehen. Dann prüft der Test kein Können, sondern Erinnerung. Wer Klassenarbeiten schreibt, kennt den Unterschied zwischen Verstehen und Auswendiglernen. Deshalb werden Benchmarks regelmäßig ersetzt, sobald die Spitzenwerte zu dicht an hundert Prozent liegen.

MMLU, Arenen und die Zahlen in Pressemitteilungen

Einige Namen tauchen in Tech-News ständig auf. MMLU ist ein Wissenstest mit rund 16.000 Fragen aus Schule und Studium. SWE-bench besteht aus echten Programmierfehlern aus offenen Softwareprojekten. In der LMArena treten zwei Programme anonym gegeneinander an, und Nutzer stimmen ab, welche Antwort besser war.

Begegnen wird man diesen Zahlen vor allem in Diagrammen von Herstellern. Dort ist Skepsis nützlich. Achte darauf, ob die Konkurrenz mit ihren neuesten Versionen antritt und ob die Achse bei null beginnt. Ein Vorsprung von 89 auf 91 Prozent sieht groß aus, wenn man den Ausschnitt geschickt wählt.

Das Prinzip ist übrigens älter als die KI. Auch Prozessoren, Grafikkarten und Handys werden per Benchmark verglichen, und Banken vergleichen Fonds mit einem Index als Messlatte. Nicht zu verwechseln ist Benchmarking mit einer Evaluierung im engeren Sinn: Diese prüft ein einzelnes System auf einen bestimmten Zweck hin, statt eine Rangliste zu erstellen.