Confidence Score
Ein Confidence Score ist eine Zahl, mit der ein Computerprogramm angibt, für wie sicher es sein eigenes Ergebnis hält. Er wird meist zwischen 0 und 1 oder in Prozent angegeben und entscheidet oft darüber, ob ein Mensch das Ergebnis noch einmal prüfen muss.
Wenn ein Computerprogramm ein Bild einordnet oder Text ausliest, liefert es selten nur ein blankes Ergebnis. Fast immer gibt es zusätzlich eine Zahl aus, die sagt: So sicher bin ich mir dabei. Diese Zahl heißt Confidence Score, auf Deutsch etwa Vertrauenswert. Sie liegt üblicherweise zwischen 0 und 1, oft auch als Prozentzahl geschrieben. Ein Programm, das ein Foto als Katze einordnet und dazu 0,97 ausgibt, meldet damit eine sehr hohe Sicherheit. Bei 0,41 ist es dagegen kaum mehr als geraten.
Wichtig ist der Unterschied zwischen Sicherheit und Richtigkeit. Ein hoher Wert bedeutet nicht, dass das Ergebnis stimmt. Er bedeutet nur, dass das Programm nach seinen eigenen Maßstäben kaum Zweifel hat. Diese beiden Dinge fallen oft, aber eben nicht immer zusammen.
Die Zahl, an der die Handübergabe hängt
Ohne diesen Wert wäre jedes Ergebnis gleich viel wert. Ein sicheres und ein geratenes Ergebnis sähen für den Nutzer identisch aus. Der Score macht den Unterschied sichtbar und damit nutzbar. Unternehmen legen deshalb eine Schwelle fest, einen sogenannten Schwellenwert.
Ein Beispiel aus der Praxis: Eine Bank lässt Rechnungen automatisch auslesen. Alles über 0,95 wird ohne Nachfrage gebucht. Alles darunter landet auf dem Schreibtisch eines Mitarbeiters. So erledigt die Maschine die einfachen Fälle, und Menschen kümmern sich um die kniffligen. Genau das spart Kosten, ohne die Fehlerquote hochzutreiben.
Die Wahl der Schwelle ist eine Abwägung. Setzt man sie hoch, rutschen wenige Fehler durch, aber viel Arbeit bleibt bei den Menschen. Setzt man sie niedrig, läuft mehr automatisch, und mehr Fehler bleiben unbemerkt. In der Medizin oder bei Kreditentscheidungen wählt man deshalb andere Schwellen als bei einer Foto-App.
Wie aus Rechenergebnissen eine Prozentzahl wird
Ein Modell, also ein trainiertes Programm, entscheidet sich nicht einfach für eine Antwort. Es berechnet für jede mögliche Antwort einen Zahlenwert. Bei einem Tierbild könnten das etwa Katze, Hund und Fuchs sein. Diese Rohwerte werden anschließend so umgerechnet, dass sie zusammen genau 1 ergeben. Das Ergebnis sieht dann aus wie eine Wahrscheinlichkeit: 0,97 für Katze, 0,02 für Hund, 0,01 für Fuchs.
Der höchste dieser Werte wird als Confidence Score ausgegeben. Man kann ihn sich vorstellen wie die Stimmenverteilung bei einer Abstimmung. Sind sich fast alle einig, ist der Wert hoch. Verteilen sich die Stimmen gleichmäßig, ist er niedrig.
Ein verbreiteter Irrtum ist, diese Zahl direkt als Trefferwahrscheinlichkeit zu lesen. Viele Modelle sind überheblich: Sie geben 0,99 aus und liegen trotzdem regelmäßig daneben. Fachleute nennen das schlechte Kalibrierung. Ein gut kalibriertes Modell liegt bei allen Fällen mit Score 0,90 auch tatsächlich in rund 90 Prozent der Fälle richtig. Das prüft man, indem man viele Vorhersagen mit den echten Ergebnissen vergleicht.
Wo die Zahl im Alltag auftaucht
Sichtbar wird der Wert zum Beispiel in Übersetzungs- und Untertitel-Programmen, die unsichere Stellen grau oder markiert anzeigen. Auch Spracherkennung auf dem Handy arbeitet damit. Bei der automatischen Gesichtserkennung am Flughafen entscheidet der Score, ob das Tor aufgeht oder ein Beamter dazukommt.
In Wirtschaftsnachrichten begegnet der Begriff oft im Zusammenhang mit Haftung und Regulierung. Behörden verlangen bei riskanten Anwendungen, dass unsichere Ergebnisse von Menschen geprüft werden. Der Confidence Score ist dann die technische Grundlage für diese Regel.
Bei Chatbots ist die Lage anders. Diese Systeme zeigen ihren internen Wert meist gar nicht an und formulieren auch falsche Antworten selbstbewusst. Eine Formulierung wie « ich bin mir ziemlich sicher » ist kein Confidence Score, sondern nur Text. Wer ein solches System beruflich einsetzt, sollte diesen Unterschied kennen.