Win-Rate

Bei vielen Aufgaben gibt es keine einzige richtige Antwort. Ob eine E-Mail gut formuliert oder eine Erklärung verständlich ist, lässt sich nicht einfach abhaken. Deshalb stellt man zwei Antworten nebeneinander und fragt: Welche ist besser? Wiederholt man das mit hunderten Aufgaben, ergibt sich ein Anteil gewonnener Vergleiche. Genau dieser Anteil ist die Win-Rate. Liegt sie bei 60 Prozent, wurde das eine System in sechs von zehn Fällen bevorzugt.

Was eine Prozentzahl über Sprachqualität aussagt

Klassische Tests prüfen Wissen mit Multiple-Choice-Fragen. Da ist eine Antwort richtig, alle anderen sind falsch. Solche Tests sagen aber wenig darüber aus, ob ein Chatbot angenehm zu benutzen ist. Ein Modell kann Physikfragen brillant lösen und trotzdem unhöflich, weitschweifig oder am Thema vorbei antworten. Die Win-Rate misst genau diese Seite: den Gesamteindruck einer Antwort.

Für Unternehmen ist das eine der wichtigsten Kennzahlen überhaupt. Wenn eine neue Version eines Assistenten erscheint, will man wissen, ob sie sich für Nutzer besser anfühlt als die alte. Eine Win-Rate von 55 Prozent gegen den Vorgänger bedeutet: leichte Verbesserung. Bei 50 Prozent hat sich praktisch nichts geändert. Unter 50 Prozent ist die neue Version schlechter, egal was andere Tests behaupten.

Auch in Nachrichten über KI-Firmen taucht die Zahl auf. Wird ein neues Modell vorgestellt, steht oft eine Win-Rate gegen einen bekannten Konkurrenten daneben. Solche Angaben sollte man kritisch lesen. Die Firma sucht die Vergleichsaufgaben selbst aus, und andere Aufgaben hätten ein anderes Ergebnis geliefert.

Vom Einzelvergleich zur Prozentzahl

Der Ablauf ist immer ähnlich. Man sammelt eine Reihe von Aufgaben, etwa achthundert typische Nutzerfragen. Jede Frage geht an beide Systeme, man erhält also zwei Antworten. Diese werden anonym nebeneinandergestellt, damit niemand die Herkunft erkennt. Ein Bewerter wählt die bessere aus. Am Ende teilt man die Zahl der Siege durch die Zahl der Vergleiche.

Wer bewertet, ist entscheidend. Früher waren es fast immer bezahlte Testpersonen, was langsam und teuer ist. Heute übernimmt oft ein starkes Sprachmodell diese Rolle. Man nennt das LLM-as-a-Judge, also ein Sprachmodell als Schiedsrichter. Das ist billig und schnell, hat aber Eigenheiten: Solche Schiedsrichter bevorzugen messbar längere Antworten und den eigenen Schreibstil.

Deshalb baut man Gegenmaßnahmen ein. Die Reihenfolge der beiden Antworten wird zufällig getauscht, weil Bewerter oft die erste bevorzugen. Manche Verfahren rechnen den Längenvorteil heraus. Und man gibt die statistische Unsicherheit mit an. Bei achthundert Vergleichen schwankt das Ergebnis um etwa zwei bis drei Prozentpunkte. Ein Vorsprung von einem Prozentpunkt ist damit schlicht kein Vorsprung.

Ranglisten, Produktnachrichten und ein häufiger Denkfehler

Am bekanntesten sind öffentliche Vergleichsarenen im Netz. Dort stellt man selbst eine Frage, bekommt zwei anonyme Antworten und stimmt für eine ab. Aus Millionen solcher Stimmen entsteht eine Rangliste. Diese Ranglisten werden in der Tech-Presse breit zitiert und beeinflussen, welches Modell Firmen einkaufen. Die Elo-Punktzahl dort ist im Kern nichts anderes als eine umgerechnete Win-Rate.

Der Begriff stammt ursprünglich aus dem Sport und aus dem Marketing. Im Vertrieb ist die Win-Rate der Anteil gewonnener Angebote, im Schach die Siegquote. In der KI-Welt ist fast immer der Antwortvergleich gemeint. Verwandt, aber nicht dasselbe ist die Pass-Rate: Sie misst, wie viele Aufgaben objektiv korrekt gelöst wurden, etwa bei Programmiertests.

Ein häufiger Denkfehler ist, die Win-Rate für ein absolutes Qualitätsmaß zu halten. Sie ist immer relativ zu einem Gegner und zu einer Aufgabensammlung. Ein Modell mit 70 Prozent gegen ein schwaches System kann gegen ein starkes bei 40 Prozent landen. Ohne die Angabe, gegen wen und auf welchen Aufgaben gemessen wurde, ist die Zahl wertlos.