Strictly Proper Scoring Rule

Manche Vorhersagen sind keine klaren Ja-Nein-Aussagen, sondern Wahrscheinlichkeiten. Eine Wetter-App sagt nicht « es regnet », sondern « 70 Prozent Regenwahrscheinlichkeit ». Solche Aussagen muss man anders benoten als ein einfaches Richtig oder Falsch. Dafür gibt es Bewertungsregeln: Rechenvorschriften, die aus der genannten Wahrscheinlichkeit und dem tatsächlichen Ausgang eine Punktzahl machen. Eine Bewertungsregel heißt streng proper, wenn man seine erwartete Punktzahl nur mit der ehrlichen Wahrscheinlichkeit maximiert. Jedes Schönen, Übertreiben oder Absichern führt im Durchschnitt zu einer schlechteren Note.

Warum Ehrlichkeit sich rechnen muss

Ohne diese Eigenschaft belohnt eine Benotung das falsche Verhalten. Ein Beispiel: Man bewertet nur, ob die wahrscheinlichere Seite eingetroffen ist. Dann ist es egal, ob jemand 51 Prozent oder 99 Prozent sagt. Ein Vorhersager kann also ohne Nachteil viel selbstsicherer auftreten, als er wirklich ist. Genau das nennt man einen falschen Anreiz.

Umgekehrt gibt es Regeln, die Vorsicht belohnen. Wer immer 50 Prozent sagt, fällt nie auf die Nase. Auch das ist schlecht, denn solche Prognosen sind wertlos. Eine streng propere Regel schließt beide Fluchtwege aus. Sie bestraft übertriebene Sicherheit hart und feige Mittelwerte ebenfalls.

Für KI ist das mehr als Statistik-Feinschliff. Sprachmodelle werden darauf trainiert, für das nächste Wort Wahrscheinlichkeiten zu vergeben. Die dabei übliche Verlustfunktion ist eine streng propere Regel. Das Modell hat also während des Trainings keinen Vorteil davon, seine Unsicherheit zu verstecken. Ob es am Ende trotzdem zu selbstsicher klingt, ist eine andere Frage — dazu später mehr.

Der Brier-Score und der Log-Score

Die bekannteste Regel ist der Brier-Score. Man nimmt die genannte Wahrscheinlichkeit und den Ausgang, der als 1 für eingetreten und 0 für nicht eingetreten zählt. Dann bildet man die Differenz und quadriert sie. Sagt jemand 0,7 und es regnet, ist der Fehler 0,3 zum Quadrat, also 0,09. Regnet es nicht, ist er 0,7 zum Quadrat, also 0,49. Kleiner ist besser.

Dass diese Regel ehrlich macht, kann man nachrechnen. Wer wirklich 70 Prozent glaubt, fährt mit der Angabe 0,7 im Erwartungswert am besten. Jede andere Zahl verschlechtert das Ergebnis. Das Quadrieren ist der entscheidende Trick. Es sorgt dafür, dass große Abweichungen überproportional teuer werden.

Die zweite wichtige Regel ist der Log-Score. Er bestraft nach dem Logarithmus der Wahrscheinlichkeit, die man dem tatsächlich eingetretenen Ausgang gegeben hat. Wer einem Ereignis 1 Prozent zuschreibt und es tritt ein, kassiert eine sehr hohe Strafe. Bei 0 Prozent wäre die Strafe sogar unendlich. Der Log-Score ist damit deutlich strenger gegen Selbstüberschätzung als der Brier-Score. Beide sind streng proper, setzen aber unterschiedliche Schwerpunkte.

Von Prognosemärkten bis zur Modellbewertung

Am sichtbarsten sind solche Regeln in Prognoseplattformen. Dort geben Menschen Wahrscheinlichkeiten für Wahlausgänge oder Wirtschaftsdaten ab und sammeln Punkte. Auch Wettervorhersagen werden seit Jahrzehnten mit dem Brier-Score gemessen. In der Medizin bewertet man damit Risikorechner, etwa für die Wahrscheinlichkeit eines Herzinfarkts.

In der KI-Welt taucht der Begriff vor allem bei der Frage nach Kalibrierung auf. Ein Modell ist kalibriert, wenn von allen Aussagen, bei denen es 80 Prozent Sicherheit angibt, auch ungefähr 80 Prozent stimmen. Streng propere Regeln sind das Werkzeug, mit dem man das misst. Sie erfassen zwei Dinge gleichzeitig: wie gut jemand trennt und wie ehrlich seine Sicherheitsangaben sind.

Ein häufiger Irrtum: Eine propere Regel garantiere ehrliche Modelle. Das stimmt nicht. Sie garantiert nur, dass Ehrlichkeit die beste Strategie wäre. Wenn ein Modell danach noch mit menschlichem Feedback nachtrainiert wird, können neue Anreize entstehen. Selbstbewusst klingende Antworten gefallen Menschen oft besser. Deshalb können Chatbots trotz properer Trainingsziele überzeugt klingen und trotzdem falsch liegen.