Kalibrierung (Machine Learning)

Viele Computerprogramme, die aus Beispielen lernen, geben zu jeder Antwort eine Zahl mit. Diese Zahl soll ausdrücken, wie sicher sich das Programm ist. Ein Bilderkennungssystem meldet etwa: “Das ist zu 90 Prozent ein Hund.” Kalibrierung ist die Frage, ob solche Zahlen der Wirklichkeit entsprechen. Man prüft das nicht an einem Einzelfall, sondern an vielen Fällen zusammen. Nimmt man alle Antworten mit “90 Prozent” und sind davon tatsächlich etwa 90 Prozent richtig, ist das System gut kalibriert. Sind nur 60 Prozent richtig, ist es überheblich – es behauptet mehr Sicherheit, als es hat.

Warum falsche Sicherheitsangaben teuer werden

Ein Programm kann oft richtig antworten und trotzdem schlecht kalibriert sein. Diese beiden Eigenschaften sind unabhängig voneinander. Für die Praxis zählt aber gerade die Sicherheitsangabe. Denn an ihr entscheidet sich, ob ein Mensch eingreift oder nicht.

Ein Beispiel aus der Medizin: Ein System bewertet Röntgenbilder und meldet “5 Prozent Krebsrisiko”. Ist diese Zahl verlässlich, kann eine Ärztin sie in ihre Entscheidung einbeziehen. Ist sie in Wahrheit eher 30 Prozent, führt das Vertrauen in die Zahl zu Schaden. Ähnlich bei Kreditvergabe, Betrugserkennung oder selbstfahrenden Autos. Überall dort werden Schwellen gesetzt: unter fünf Prozent Risiko automatisch freigeben, darüber ein Mensch prüft.

Solche Schwellen funktionieren nur mit ehrlichen Wahrscheinlichkeiten. Sonst landen entweder zu viele harmlose Fälle bei den Prüfern oder zu viele gefährliche werden durchgewinkt. Bei großen Sprachmodellen, also Programmen, die Texte erzeugen, kommt ein zweites Problem hinzu. Sie formulieren erfundene Angaben in genau demselben selbstbewussten Ton wie belegte Fakten. Für Nutzer ist die tatsächliche Unsicherheit dann von außen nicht erkennbar.

Vom Zuverlässigkeitsdiagramm zur Nachjustierung

Gemessen wird Kalibrierung mit einem Zuverlässigkeitsdiagramm. Man sortiert alle Vorhersagen nach ihrer Sicherheitsangabe in Körbe: 0 bis 10 Prozent, 10 bis 20 Prozent und so weiter. Für jeden Korb vergleicht man dann den behaupteten Wert mit dem tatsächlichen Trefferanteil. Bei perfekter Kalibrierung stimmen beide überein. Die durchschnittliche Abweichung über alle Körbe nennt man den erwarteten Kalibrierungsfehler.

Verbessern lässt sich das meist nachträglich, ohne das Modell neu zu bauen. Das gängigste Verfahren heißt Temperature Scaling. Dabei werden alle Sicherheitswerte mit einem einzigen Faktor gestaucht oder gestreckt. Diesen Faktor bestimmt man an einem Datensatz, den das Modell beim Lernen nicht gesehen hat. Die Reihenfolge der Antworten bleibt gleich, nur ihr Selbstbewusstsein ändert sich. Die Trefferquote verändert sich dadurch also nicht.

Ein häufiger Irrtum: Kalibrierung heiße, das Modell werde besser. Das stimmt nicht. Ein Programm, das immer “50 Prozent” sagt, kann bestens kalibriert und völlig nutzlos sein. Gute Modelle brauchen beides – treffsichere Antworten und ehrliche Unsicherheit. Auffällig ist, dass moderne, sehr große Modelle oft schlechter kalibriert sind als kleine. Sie werden im Training so weit optimiert, dass sie systematisch zu Übermut neigen.

Kalibrierung in Produkten und Prüfberichten

Im Alltag sieht man das Ergebnis guter Kalibrierung bei der Wettervorhersage. “30 Prozent Regenwahrscheinlichkeit” ist eine kalibrierte Aussage, und Wetterdienste prüfen das über Jahre nach. Auch Sprachassistenten nutzen Schwellen: Versteht ein Gerät ein Kommando nur unsicher, fragt es nach statt zu handeln.

In Fachnachrichten begegnet der Begriff meist in zwei Zusammenhängen. Zum einen in technischen Berichten zu neuen Modellen, wo neben der Trefferquote der Kalibrierungsfehler angegeben wird. Zum anderen in der Regulierung: Die KI-Verordnung der EU verlangt für Systeme mit hohem Risiko dokumentierte Genauigkeit und Robustheit. Verlässliche Unsicherheitsangaben gehören zu diesem Nachweis.

Nicht verwechseln sollte man den Begriff mit der Kalibrierung von Messgeräten oder Kameras. Dort geht es um physikalische Justierung, nicht um Wahrscheinlichkeiten. Verwandt ist dagegen die Unsicherheitsquantifizierung. Sie ist der weitere Rahmen, in dem Kalibrierung nur einen Teilaspekt bildet.