Elo-Bewertung

Die Elo-Bewertung ist eine Zahl, die angibt, wie stark jemand im direkten Vergleich mit anderen ist. Sie entsteht nicht aus einer Prüfung mit festen Aufgaben, sondern aus vielen Duellen. Nach jedem Duell bekommt der Sieger Punkte dazu, der Verlierer verliert genauso viele. Entscheidend ist dabei, wie überraschend das Ergebnis war: Wer gegen einen viel schwächeren Gegner gewinnt, bekommt kaum etwas, wer einen viel stärkeren schlägt, bekommt viel. Erfunden hat das System der ungarisch-amerikanische Physiker Árpád Élő für den Schachsport. Heute wird dieselbe Rechnung auch benutzt, um Computerprogramme zu vergleichen, die Texte schreiben oder Bilder erzeugen.

Warum Chatbots keine Schulnote bekommen

Bei vielen Aufgaben lässt sich Leistung einfach messen. Ein Rechentest hat richtige und falsche Antworten, man zählt die Treffer und ist fertig. Bei einem Textprogramm ist das schwieriger. Ob eine Erklärung gut, freundlich oder verständlich ist, lässt sich nicht objektiv abhaken.

Genau hier hilft der Vergleich. Menschen können schlecht sagen, ob eine Antwort 78 oder 84 von 100 Punkten verdient. Sie können aber sehr gut sagen, welche von zwei Antworten ihnen besser gefällt. Aus tausenden solcher Einzelurteile baut die Elo-Bewertung eine Rangliste.

Deshalb tauchen Elo-Zahlen inzwischen in fast jeder Meldung über neue KI-Modelle auf. Firmen werben damit, dass ihr System in einer Rangliste ein paar Punkte vor der Konkurrenz liegt. Wer die Zahl versteht, erkennt aber auch die Grenzen: Sie misst, was Testpersonen bevorzugen, nicht, was sachlich richtig ist. Ein Modell, das schön formuliert und dabei Fehler macht, kann trotzdem oben stehen.

Die Rechnung hinter den Punkten

Vor jedem Duell berechnet das System eine Erwartung. Aus der Differenz der beiden Punktzahlen ergibt sich eine Gewinnwahrscheinlichkeit. Ein Vorsprung von 100 Punkten bedeutet grob eine Siegchance von 64 Prozent, ein Vorsprung von 400 Punkten etwa 91 Prozent. Die Punktzahl allein sagt also nichts, erst der Abstand zu anderen ist aussagekräftig.

Nach dem Duell vergleicht das System Erwartung und Ergebnis. War der Ausgang wie vorhergesagt, ändert sich fast nichts. War er überraschend, verschieben sich die Zahlen deutlich. Wie stark, regelt ein Faktor, der oft K-Faktor genannt wird. Ein großer K-Faktor lässt die Werte schnell schwanken, ein kleiner macht sie träge, aber stabil.

Bei KI-Ranglisten läuft das so ab: Eine Testperson stellt eine Frage und bekommt zwei Antworten von zwei Modellen, ohne zu wissen, welches welche geschrieben hat. Sie wählt die bessere aus. Dieses Ergebnis zählt wie eine Schachpartie. Der Startwert liegt meist bei 1000 oder 1500 Punkten, danach pendelt sich jedes Modell auf seinem Niveau ein.

Von der Schach-Rangliste bis zur KI-Arena

Im Schach ist die Elo-Zahl seit den 1970er-Jahren offizieller Standard. Vereinsspieler liegen oft zwischen 1200 und 1800 Punkten, Großmeister über 2500. Auch viele Computerspiele mit Online-Ranglisten nutzen das Prinzip oder eine Weiterentwicklung davon, um faire Gegner zusammenzustellen.

In der KI-Welt wurde das Verfahren durch öffentliche Vergleichsplattformen bekannt, auf denen jeder mitabstimmen kann. Millionen solcher Abstimmungen ergeben Ranglisten, die in Fachartikeln und Werbematerial zitiert werden. Manchmal trennen die vorderen Plätze nur zehn Punkte. Ein so kleiner Abstand liegt oft im Bereich der statistischen Unsicherheit und bedeutet praktisch Gleichstand.

Ein häufiger Irrtum ist, die Elo-Zahl für ein Maß an Intelligenz zu halten. Sie beschreibt nur das Abschneiden gegen die konkrete Konkurrenz unter den konkreten Testbedingungen. Ändert sich das Teilnehmerfeld oder die Art der Fragen, verschieben sich die Werte. Nützlich ist sie trotzdem, weil sie sehr viele einzelne Urteile zu einer einzigen, vergleichbaren Zahl verdichtet.