Reinforcement Learning for Calibrated Decisions
Reinforcement Learning for Calibrated Decisions bezeichnet Trainingsverfahren, bei denen ein Computerprogramm nicht nur lernt, gute Entscheidungen zu treffen, sondern auch realistisch einzuschätzen, wie sicher es sich dabei ist. Ziel ist ein System, dessen Selbstsicherheit zur tatsächlichen Trefferquote passt.
Manche Computerprogramme lernen durch Ausprobieren: Sie treffen eine Entscheidung, erhalten anschließend eine Rückmeldung darüber, ob das Ergebnis gut oder schlecht war, und passen ihr Verhalten daran an. Dieses Lernen aus Belohnung und Bestrafung nennt man Reinforcement Learning, auf Deutsch verstärkendes Lernen. Solche Programme geben normalerweise nur die Entscheidung selbst aus, etwa „kaufen“ oder „nicht kaufen“. Reinforcement Learning for Calibrated Decisions erweitert das Ziel: Das Programm soll zusätzlich eine ehrliche Sicherheitsangabe liefern, zum Beispiel „ich bin mir zu 70 Prozent sicher“. Diese Angabe heißt kalibriert, wenn sie auf lange Sicht stimmt. Von hundert Fällen, bei denen das System 70 Prozent angibt, sollten also etwa siebzig tatsächlich eintreffen.
Warum ehrliche Sicherheitsangaben über Geld entscheiden
Eine Entscheidung allein sagt zu wenig. Wer wissen will, ob er einer Empfehlung folgen soll, braucht auch das Risiko dazu. Ein System, das bei jeder Prognose „99 Prozent sicher“ behauptet, ist wertlos, selbst wenn es oft richtig liegt. Denn man kann die guten Fälle nicht von den wackligen unterscheiden.
Besonders deutlich wird das in der Finanzwelt. Eine Handelsstrategie, die ihre Trefferwahrscheinlichkeit kennt, kann ihre Einsätze danach dosieren. Bei 55 Prozent Sicherheit setzt sie wenig, bei 85 Prozent mehr. Ist die Sicherheitsangabe aber systematisch zu hoch, wächst der Einsatz genau dann, wenn das Risiko unterschätzt wird. Solche Fehler summieren sich schnell zu großen Verlusten.
Dasselbe Problem gibt es in der Medizin, in der Kreditvergabe und bei selbstfahrenden Autos. Überall dort gibt ein Mensch oder ein zweites System die Entscheidung frei, wenn die Unsicherheit hoch ist. Diese Arbeitsteilung funktioniert nur, wenn die gemeldete Unsicherheit stimmt. Deshalb gilt Kalibrierung als Voraussetzung dafür, dass man KI-Systemen überhaupt Verantwortung überlassen darf.
Wie die Belohnung auf Ehrlichkeit umgebaut wird
Der zentrale Hebel ist die Belohnungsfunktion, also die Regel, nach der das Programm Punkte für sein Verhalten bekommt. Normalerweise belohnt sie nur das Ergebnis. Beim kalibrierten Training bewertet sie zusätzlich die abgegebene Wahrscheinlichkeit. Dafür nutzt man sogenannte Scoring-Regeln, etwa den Brier-Score. Diese Regeln geben die beste Punktzahl genau dann, wenn das System seine wahre Einschätzung nennt.
Das wirkt wie eine Wette mit fairen Quoten. Wer übertreibt, verliert Punkte, sobald er einmal falsch liegt. Wer zu vorsichtig ist, verschenkt Punkte in den Fällen, in denen er richtig lag. Der lohnendste Weg ist also, die eigene Unsicherheit korrekt zu melden. Genau dieses Verhalten lernt das Programm über Millionen Trainingsdurchläufe.
Zusätzlich prüft man nach dem Training, wie gut die Kalibrierung wirklich ist. Man sortiert alle Vorhersagen nach ihrer gemeldeten Sicherheit in Gruppen und vergleicht jede Gruppe mit der tatsächlichen Trefferquote. Die durchschnittliche Abweichung heißt Kalibrierungsfehler. Bleibt eine Verzerrung übrig, lässt sich die Ausgabe nachträglich glätten. Das ist aber nur eine Korrektur am Ende und ersetzt kein sauberes Training.
Von Wetterberichten bis zu Agenten-Systemen
Das bekannteste kalibrierte System ist der Wetterbericht. Wenn dort 30 Prozent Regenwahrscheinlichkeit steht, regnet es an etwa 30 von 100 solchen Tagen. Meteorologen arbeiten seit Jahrzehnten mit Scoring-Regeln und liefern damit ein Vorbild für die KI-Forschung.
In aktuellen Produkten begegnet man dem Prinzip bei Sprachmodellen, also Programmen wie Chatbots, die Texte erzeugen. Diese Modelle klingen oft sehr überzeugt, auch wenn sie etwas erfinden. Kalibriertes Training soll sie dazu bringen, Unsicherheit zuzugeben oder eine Frage zurückzuweisen. In Meldungen taucht das unter Begriffen wie Confidence Estimation oder Abstention auf.
Wichtig ist eine Abgrenzung: Ein kalibriertes System ist nicht automatisch ein gutes System. Ein Programm, das immer „50 Prozent“ sagt und tatsächlich in der Hälfte der Fälle richtig liegt, ist perfekt kalibriert, aber nutzlos. Man braucht beides, hohe Treffsicherheit und ehrliche Unsicherheit. Deshalb werden in Fachberichten meist Genauigkeit und Kalibrierungsfehler gemeinsam angegeben.