kalibrierte Wahrscheinlichkeit

Viele KI-Modelle geben nicht nur eine Antwort aus, sondern auch einen Prozentwert, der ausdrückt, wie sicher sich das Modell ist. Ein Modell ist kalibriert, wenn dieser Prozentwert der Realität entspricht. Sagt ein Modell bei hundert verschiedenen Fragen jeweils „ich bin zu 70 % sicher“, dann sollte es bei ungefähr siebzig davon tatsächlich richtig liegen. Ist das der Fall, nennt man die ausgegebenen Prozentwerte kalibrierte Wahrscheinlichkeiten. Stimmt es nicht, ist das Modell schlecht kalibriert — und seine Sicherheitsangaben sind irreführend, auch wenn die Antworten selbst oft stimmen.

Warum schlechte Kalibrierung gefährlich ist

Ein Modell kann sehr häufig richtig liegen und trotzdem schlecht kalibriert sein. Das klingt widersprüchlich, ist es aber nicht. Stell dir ein Modell vor, das bei medizinischen Diagnosen immer „99 % sicher“ meldet — auch dann, wenn es nur zu 60 % richtig liegt. Ein Arzt, der diesen Werten vertraut, trifft schlechtere Entscheidungen, als wenn er gar keine Prozentzahl bekäme.

Das Problem tritt besonders bei sogenannten neuronalen Netzen auf, also bei den rechnerischen Systemen, die hinter modernen KI-Modellen stecken. Sie neigen dazu, systematisch zu überkonfident zu sein: Sie sagen öfter „95 % sicher“, als es ihrer tatsächlichen Trefferquote entspricht. Umgekehrt gibt es auch unterkonfidente Modelle, die sich selbst zu wenig zutrauen. Beides verzerrt die Entscheidungen der Menschen, die das Modell einsetzen.

Wie Kalibrierung gemessen und verbessert wird

Um zu prüfen, ob ein Modell kalibriert ist, sammelt man viele Vorhersagen und gruppiert sie nach ihrer angegebenen Sicherheit. Alle Vorhersagen mit etwa 80 % Sicherheit kommen in eine Gruppe, alle mit etwa 60 % in eine andere, und so weiter. Dann schaut man, wie hoch die tatsächliche Trefferquote in jeder Gruppe ist. Das Ergebnis lässt sich in einem sogenannten Reliability Diagram darstellen: einer Grafik, in der eine perfekt kalibrierte Kurve als gerade Diagonale erscheint. Weicht die Kurve stark ab, ist das Modell schlecht kalibriert.

Zur Verbesserung gibt es mathematische Nachbearbeitungsverfahren. Das bekannteste heißt Platt-Skalierung: Man nimmt die rohen Ausgabewerte des Modells und rechnet sie mit einer einfachen Formel in besser passende Prozentwerte um. Das Modell selbst wird dabei nicht verändert — man hängt quasi eine Korrekturschicht dahinter. Eine andere Methode heißt Temperature Scaling und funktioniert ähnlich, aber mit einem einzigen einstellbaren Zahlenwert, der die Ausgaben des Modells staucht oder streckt, bis sie zur Realität passen.

Wichtig: Diese Verfahren verbessern nicht die Genauigkeit des Modells. Die Antworten werden nicht häufiger richtig. Nur die Sicherheitsangaben werden ehrlicher.

Wo kalibrierte Wahrscheinlichkeiten in der Praxis auftauchen

In der Medizin ist Kalibrierung ein gesetzlich relevantes Thema. KI-Systeme, die Ärzte bei Diagnosen unterstützen, müssen in der EU nach der KI-Verordnung bestimmten Qualitätsanforderungen genügen. Eine systematisch überkonfidente KI, die bei jeder Röntgenaufnahme „98 % Wahrscheinlichkeit für Tumor“ oder „98 % Wahrscheinlichkeit kein Tumor“ ausgibt, wäre ein erhebliches Risiko.

Auch in der Wettervorhersage ist Kalibrierung seit Jahrzehnten Standard. Wenn ein Wetterdienst „30 % Regenwahrscheinlichkeit“ meldet, bedeutet das, dass es bei vergleichbaren Wetterlagen historisch in etwa 30 von 100 Fällen geregnet hat. Das ist ein Beispiel für gute Kalibrierung außerhalb der KI.

In der Tech-Berichterstattung taucht der Begriff vor allem dann auf, wenn Forscher zeigen, dass ein bekanntes Sprachmodell trotz beeindruckender Antworten schlecht kalibriert ist. Das ist ein wichtiger Einwand gegenüber dem Einsatz solcher Modelle in Bereichen, in denen Menschen den Angaben vertrauen müssen — etwa in der Rechtsberatung, der Finanzanalyse oder der Bildung.