Zufallsbaseline

Wenn ein Computerprogramm eine Aufgabe löst, will man wissen, wie gut es dabei ist. Dafür braucht man einen Vergleichswert. Die Zufallsbaseline ist genau dieser Vergleichswert: das Ergebnis, das man ohne jedes Wissen durch bloßes Raten erreichen würde. Bei einer Frage mit vier Antwortmöglichkeiten liegt sie bei 25 Prozent, denn eine von vier zufälligen Antworten ist im Schnitt richtig. Ein Programm, das 27 Prozent erreicht, hat also praktisch nichts geleistet. Erst deutlich darüber wird ein Ergebnis interessant.

Warum 90 Prozent manchmal wertlos sind

Prozentzahlen ohne Vergleichsmaßstab sagen wenig aus. Ein Programm soll erkennen, ob eine Überweisung Betrug ist. Es erreicht 99 Prozent Treffergenauigkeit, das klingt hervorragend. Tatsächlich sind aber nur 1 von 100 Überweisungen Betrug. Ein Programm, das stur bei jeder Überweisung „kein Betrug“ antwortet, kommt ebenfalls auf 99 Prozent. Es hat nichts gelernt und findet keinen einzigen Betrugsfall.

Genau solche Fälle deckt die Zufallsbaseline auf. Sie verschiebt die Frage von „Wie hoch ist die Zahl?“ zu „Wie viel besser ist das als nichts?“. Bei Aufgaben mit sehr ungleich verteilten Antworten nimmt man deshalb oft eine strengere Variante. Diese rät nicht gleichmäßig, sondern tippt immer auf die häufigste Antwort. Man nennt sie Mehrheitsbaseline, und sie ist meist schwerer zu schlagen.

Wichtig ist die Abgrenzung zur menschlichen Vergleichsmarke. Die Zufallsbaseline markiert die Untergrenze, unter der ein Ergebnis wertlos ist. Die menschliche Leistung markiert eher die Obergrenze, die man anstrebt. Ein gutes Ergebnis liegt weit über der einen und möglichst nah an der anderen. Beide Werte zusammen ergeben erst ein ehrliches Bild.

Wie man den Ratewert ausrechnet

Bei Aufgaben mit fester Auswahl ist die Rechnung einfach. Man teilt 1 durch die Anzahl der Möglichkeiten. Bei zwei Optionen sind das 50 Prozent, bei zehn Optionen 10 Prozent. Deshalb ist ein Testergebnis von 60 Prozent bei einer Ja-Nein-Frage schwach, bei einer Frage mit zwanzig Optionen dagegen stark. Ohne die Anzahl der Möglichkeiten lässt sich eine Prozentzahl gar nicht bewerten.

Sind die Antworten ungleich verteilt, rechnet man anders. Man schaut, wie oft jede Antwort im Testmaterial vorkommt, und leitet daraus den erwarteten Ratewert ab. In der Praxis lässt man dafür oft einfach ein Zufallsprogramm mehrere tausend Mal über den Test laufen. Der Durchschnitt dieser Durchläufe ist die Baseline. Man sieht dabei auch, wie stark die Ergebnisse schwanken.

Diese Schwankung ist wichtiger, als sie klingt. Bei einem kleinen Test mit nur 50 Fragen kann reines Raten mit etwas Glück deutlich über dem erwarteten Wert landen. Ein Vorsprung von wenigen Prozentpunkten beweist dann gar nichts. Erst wenn der Abstand größer ist als diese Zufallsschwankung, spricht man von einem echten Effekt.

Wo die Zahl in Modellvergleichen auftaucht

In Berichten über neue KI-Modelle stehen fast immer Testergebnisse aus standardisierten Aufgabensammlungen. Ein bekanntes Beispiel ist ein Wissenstest mit tausenden Multiple-Choice-Fragen aus Schule und Studium. Dort liegt die Zufallsbaseline bei 25 Prozent, weil es vier Antwortmöglichkeiten gibt. Frühe Sprachmodelle kamen kaum darüber hinaus. Heutige Modelle erreichen über 85 Prozent, und dieser Abstand zur Baseline macht den Fortschritt sichtbar.

Auch außerhalb der KI ist das Prinzip nützlich. Wer eine Werbeanzeige testet oder ein Anlageergebnis bewertet, braucht denselben Vergleich. Ein Fonds, der 6 Prozent Rendite bringt, während der Gesamtmarkt 9 Prozent zulegt, hat trotz positiver Zahl versagt. Der Markt ist hier die Baseline.

Ein häufiger Fehler ist, die Baseline ganz wegzulassen. Meldungen nennen dann nur die Prozentzahl des neuen Modells. Ohne Angabe, wie viele Antwortmöglichkeiten es gab und was Raten ergeben hätte, ist die Zahl nicht einzuordnen. Wer Modellvergleiche liest, sollte deshalb immer nach dieser Angabe suchen.