Elo-Wert

Der Elo-Wert ist eine Zahl, die ausdrückt, wie stark jemand im direkten Vergleich mit anderen ist. Erfunden hat ihn der Physiker Arpad Elo für das Schach. Jeder Spieler startet mit einer Punktzahl, meist rund 1500. Nach jeder Partie wandert eine bestimmte Menge Punkte vom Verlierer zum Gewinner. Entscheidend ist dabei nicht nur, wer gewinnt, sondern gegen wen. Ein Sieg gegen einen viel stärkeren Gegner bringt viele Punkte, ein Sieg gegen einen schwachen fast keine.

Warum eine Zahl mehr sagt als eine Siegquote

Die einfachste Methode, Stärke zu messen, wäre der Anteil gewonnener Spiele. Diese Zahl ist aber leicht zu manipulieren. Wer nur gegen schwache Gegner antritt, hat schnell 90 Prozent Siege. Wer sich immer den Besten stellt, sieht auf dem Papier schlechter aus. Der Elo-Wert löst das Problem, weil er die Stärke des Gegners mitrechnet.

Der zweite Vorteil ist, dass die Zahl eine Vorhersage erlaubt. Aus der Differenz zweier Elo-Werte lässt sich die erwartete Gewinnwahrscheinlichkeit ableiten. 100 Punkte Vorsprung bedeuten ungefähr 64 Prozent Siegchance, 400 Punkte Vorsprung etwa 91 Prozent. Ein Elo-Wert ist also keine reine Rangliste, sondern eine Aussage darüber, wie ein Duell wahrscheinlich ausgeht.

Genau deshalb hat die KI-Branche das System übernommen. Die Frage, welches Sprachmodell besser antwortet, lässt sich kaum mit einer Prüfung beantworten. Aber man kann Menschen zwei Antworten zeigen und fragen, welche ihnen besser gefällt. Aus vielen solchen Duellen entsteht ein Elo-Wert pro Modell.

Wie Punkte den Besitzer wechseln

Vor jedem Duell berechnet das System ein erwartetes Ergebnis. Dazu vergleicht es die Punktzahlen der beiden Teilnehmer. Danach schaut es, was tatsächlich passiert ist. Die Differenz zwischen Erwartung und Realität bestimmt, wie viele Punkte sich verschieben.

Ein Beispiel macht das greifbar. Ein Modell mit 1200 Punkten tritt gegen eines mit 1400 an. Erwartet wird ein Sieg des stärkeren. Gewinnt der Schwächere trotzdem, war die Erwartung deutlich falsch, und es fließen viele Punkte. Gewinnt der Stärkere, bekommt er nur wenige, denn das war ohnehin vorhergesagt.

Wie groß die Verschiebungen ausfallen, steuert ein Faktor, den man K-Faktor nennt. Ein hoher K-Faktor lässt die Zahl schnell auf neue Ergebnisse reagieren, macht sie aber auch zappelig. Ein niedriger sorgt für ruhige Werte, reagiert dafür träge auf echte Fortschritte. Wichtig ist außerdem: Der Elo-Wert hat keine absolute Bedeutung. 1500 Punkte heißen nur im Vergleich zu den anderen Teilnehmern etwas, nicht für sich allein.

Elo-Ranglisten für Chatbots und Spiele

Am bekanntesten ist der Elo-Wert weiterhin im Schach. Die Weltspitze liegt dort über 2800 Punkten. Auch viele Online-Spiele nutzen ähnliche Systeme, um faire Gegner zusammenzustellen. Wer beim Matchmaking auf einen ähnlich starken Gegner trifft, hat das solchen Punktzahlen zu verdanken.

In der KI-Welt trifft man den Begriff vor allem auf Vergleichsplattformen wie der LMArena, früher Chatbot Arena. Dort stellen Nutzer eine Frage und bekommen zwei Antworten von zwei anonymen Modellen. Sie wählen die bessere aus, erst danach werden die Namen gezeigt. Aus Millionen solcher Stimmen entsteht eine Rangliste mit Elo-ähnlichen Punktzahlen.

In Nachrichten über neue Modelle taucht dieser Wert regelmäßig als Beleg auf. Man sollte ihn trotzdem vorsichtig lesen. Er misst, was Menschen spontan bevorzugen, nicht unbedingt, was sachlich richtig ist. Höflich formulierte, gut strukturierte Antworten schneiden oft besser ab, auch wenn ein Fehler darin steckt. Der Elo-Wert ist deshalb ein nützlicher Hinweis, aber kein Beweis für Qualität.