LMArena

LMArena ist eine frei zugängliche Website zum Vergleich von KI-Chatprogrammen. Man tippt eine Frage ein und bekommt zwei Antworten von zwei verschiedenen Systemen. Welche Systeme geantwortet haben, erfährt man zunächst nicht. Man wählt einfach die Antwort, die man besser findet, erst danach werden die Namen aufgedeckt. Aus vielen Millionen solcher Abstimmungen berechnet die Seite eine Rangliste. Entstanden ist das Projekt an der Universität Berkeley in Kalifornien, ursprünglich unter dem Namen Chatbot Arena.

Warum die Rangliste die Branche nervös macht

Bis vor kurzem wurden KI-Systeme fast nur mit festen Testaufgaben geprüft. Solche Tests bestehen aus Fragenkatalogen mit bekannten Musterlösungen, etwa Mathematikaufgaben oder Multiple-Choice-Prüfungen. Das Problem: Diese Fragen stehen irgendwann im Internet, und die Systeme lernen aus dem Internet. Ein hoher Punktwert kann dann bedeuten, dass ein System die Lösungen schon gesehen hat.

LMArena umgeht das, weil die Fragen von echten Nutzern kommen und ständig neu sind. Bewertet wird außerdem etwas anderes: nicht die formal richtige Lösung, sondern welche Antwort Menschen tatsächlich hilfreicher finden. Das ist näher am Alltag, in dem es meist keine einzige richtige Antwort gibt.

Entsprechend hoch sind die Einsätze. Wenn ein Unternehmen ein neues Modell veröffentlicht, ist der Platz in der Arena-Rangliste oft die erste Schlagzeile. Aktienkurse und Investorenstimmung reagieren darauf. Genau deshalb steht die Seite auch in der Kritik: Firmen können viele Vorabversionen heimlich testen und nur die beste öffentlich antreten lassen.

Vom Duell zur Punktzahl: das Elo-Prinzip

Die Rangliste beruht auf einem Verfahren aus dem Schach, dem Elo-System. Jeder Teilnehmer hat eine Punktzahl. Wer ein Duell gewinnt, nimmt dem Verlierer Punkte ab. Wie viele, hängt davon ab, wer als Favorit galt: Ein Sieg gegen einen stark bewerteten Gegner bringt viel, ein Sieg gegen einen schwachen wenig.

Ein einzelnes Votum sagt fast nichts aus, weil Geschmack schwankt. Erst bei zehntausenden Duellen pro Modell stabilisieren sich die Werte. LMArena gibt daher immer eine Schwankungsbreite an, etwa plus/minus fünf Punkte. Liegen zwei Modelle innerhalb dieser Spanne, sind sie praktisch gleich stark, auch wenn eines in der Tabelle höher steht.

Ein bekannter Schwachpunkt ist der Hang zur schönen Verpackung. Menschen bevorzugen lange, freundlich formulierte, gut gegliederte Antworten. Ob der Inhalt stimmt, prüfen die meisten Abstimmenden nicht nach. Die Betreiber versuchen das herauszurechnen und bieten zusätzlich Teilranglisten an, etwa für Programmieren, Mathematik oder einzelne Sprachen.

Was der Arena-Platz für Nutzer und Anleger bedeutet

In Nachrichtenmeldungen begegnet man LMArena meist als Satz wie: Das neue Modell übernimmt die Spitze der Arena-Rangliste. Auch in Präsentationen von Google, OpenAI, Anthropic oder chinesischen Anbietern wie DeepSeek und Alibaba wird der Platz als Beweis für Fortschritt gezeigt. Wer solche Meldungen liest, sollte den Abstand in Punkten prüfen und nicht nur die Reihenfolge.

Auch ohne abzustimmen lässt sich die Seite nutzen. Man kann zwei Systeme gezielt gegeneinander antreten lassen und selbst sehen, wie unterschiedlich sie auf dieselbe Frage reagieren. Das ist eine der einfachsten Möglichkeiten, kostenlose und teure Modelle direkt zu vergleichen.

Ein typischer Irrtum ist, die Rangliste für ein Qualitätssiegel zu halten. Sie misst, was Freiwillige in kurzen Gesprächen bevorzugen. Sie misst nicht Zuverlässigkeit über lange Aufgaben, Sicherheit, Datenschutz oder Betriebskosten. Für eine Kaufentscheidung im Unternehmen ist der Arena-Platz deshalb nur einer von mehreren Anhaltspunkten.