Leaderboard

Ein Leaderboard ist eine öffentliche Rangliste. Oben steht das Programm mit dem besten Ergebnis, darunter alle anderen. Verglichen werden Computerprogramme, die zum Beispiel Fragen beantworten, Texte schreiben oder Bilder erzeugen. Damit der Vergleich fair ist, müssen alle dieselben Aufgaben lösen: etwa 500 Matheaufgaben oder 1000 Programmieraufgaben mit bekannten Lösungen. Wer mehr Aufgaben richtig löst, steigt in der Liste. Das Prinzip ist dasselbe wie bei einer Bundesliga-Tabelle, nur dass hier Software gegen Software spielt.

Warum ein Listenplatz Milliarden bewegt

Für Unternehmen ist ein Spitzenplatz Werbung. Wenn ein neues Programm eine bekannte Liste anführt, steht das am nächsten Tag in den Nachrichten. Investoren lesen solche Meldungen als Beweis, dass ein Unternehmen technisch vorne liegt. Firmen kündigen ihre Produkte deshalb fast immer mit Listenplätzen an.

Auch Kunden orientieren sich daran. Eine Softwarefirma, die eine KI in ihr Produkt einbaut, muss zwischen Dutzenden Anbietern wählen. Alle einzeln zu testen ist teuer. Ein Blick auf die Rangliste ist bequemer, auch wenn er weniger aussagt.

Genau das ist die Schwachstelle. Wenn viel Geld an einer Zahl hängt, wird auf diese Zahl hin optimiert. Fachleute nennen das Überanpassung: Ein Programm wird so lange auf die Testaufgaben getrimmt, dass es dort glänzt, aber bei echten Nutzerfragen enttäuscht. Ein guter Platz beweist also nicht, dass ein Modell im Alltag nützlich ist.

Von der Testaufgabe zur Platzierung

Grundlage jedes Leaderboards ist ein Benchmark. So heißt eine feste Sammlung von Aufgaben mit hinterlegten Musterlösungen. Jedes Programm bekommt dieselben Aufgaben, die Antworten werden automatisch mit den Lösungen verglichen. Am Ende steht eine Prozentzahl, zum Beispiel 87 Prozent richtig. Diese Zahl bestimmt den Rang.

Bei kreativen Aufgaben funktioniert das nicht, denn ein guter Aufsatz hat keine eindeutige Musterlösung. Dort lässt man Menschen abstimmen. Zwei Programme antworten anonym auf dieselbe Frage, und Nutzer wählen die bessere Antwort. Aus Millionen solcher Duelle wird eine Rangliste berechnet, ähnlich wie die Elo-Wertung im Schach. Bekannt dafür ist die Plattform LMArena, früher Chatbot Arena.

Ein bekanntes Problem heißt Datenkontamination. KI-Programme lernen aus riesigen Textmengen aus dem Internet. Liegen die Testaufgaben samt Lösungen irgendwo im Netz, landen sie mit im Lernmaterial. Das Programm hat die Antworten dann faktisch vorher gesehen. Deshalb halten manche Betreiber ihre Aufgaben geheim und veröffentlichen nur die Ergebnisse.

Bekannte Ranglisten und ihre Grenzen

Wer KI-Nachrichten liest, stößt ständig auf solche Listen. Häufig genannt werden MMLU mit Wissensfragen aus vielen Schulfächern, SWE-bench mit echten Programmierfehlern aus offenen Softwareprojekten und die Nutzerabstimmung bei LMArena. Die Plattform Hugging Face, eine Art Bibliothek für frei verfügbare KI-Modelle, betreibt eigene öffentliche Ranglisten.

Das Prinzip kennst du auch außerhalb der KI. Handyspiele zeigen Bestenlisten, um zum Weiterspielen zu motivieren. Sprachlern-Apps sortieren Nutzer nach gesammelten Punkten. Und Grafikkarten oder Prozessoren werden seit Jahrzehnten in Ranglisten verglichen. Die Wirkung ist überall gleich: Sichtbarer Wettbewerb verändert das Verhalten der Teilnehmer.

Beim Lesen solcher Meldungen lohnen drei Fragen. Welche Aufgaben wurden überhaupt getestet? Wie groß ist der Abstand zum Zweiten – ein Prozentpunkt kann Zufall sein? Und hat der Anbieter selbst gemessen oder eine unabhängige Stelle? Ranglisten sind ein nützlicher Anhaltspunkt, aber kein Urteil über die Qualität eines Modells.