F1-Score

Programme, die aus Daten lernen, treffen oft einfache Entscheidungen: Ist diese E-Mail Werbemüll oder nicht? Zeigt dieses Röntgenbild einen Bruch oder nicht? Dabei können zwei ganz verschiedene Fehler passieren. Das Programm schlägt Alarm, obwohl nichts ist. Oder es übersieht einen Fall, bei dem es hätte Alarm schlagen müssen. Der F1-Score presst beide Fehlerarten in eine einzige Zahl zwischen 0 und 1. Je näher an 1, desto besser arbeitet das Programm.

Warum Trefferquote allein in die Irre führt

Die naheliegendste Kennzahl wäre: Wie viel Prozent aller Entscheidungen waren richtig? Diese Zahl heißt Genauigkeit oder Accuracy. Sie klingt vernünftig, kann aber grob täuschen. Das passiert immer dann, wenn der gesuchte Fall selten ist.

Ein Beispiel: Von 10.000 Menschen haben 10 eine bestimmte seltene Krankheit. Ein Programm, das stur bei jedem Menschen « gesund » ausgibt, liegt in 9.990 von 10.000 Fällen richtig. Das sind 99,9 Prozent Genauigkeit. Trotzdem ist das Programm völlig nutzlos, denn es findet keinen einzigen Kranken. Der F1-Score dieses Programms wäre 0.

Genau deshalb greifen Fachleute zum F1-Score, sobald Treffer selten sind. Betrugserkennung bei Kreditkarten, Spamfilter, Suche nach Tumoren auf Bildern: Überall dort ist die interessante Klasse eine winzige Minderheit. Wenn in einer Studie oder Pressemitteilung nur die Accuracy genannt wird, lohnt sich also eine skeptische Nachfrage.

Präzision, Trefferquote und ihr harmonischer Mittelwert

Der F1-Score setzt sich aus zwei Teilkennzahlen zusammen. Die erste heißt Präzision: Von allen Fällen, bei denen das Programm Alarm geschlagen hat, wie viele waren echt? Sie bestraft also falschen Alarm. Die zweite heißt Recall oder Trefferquote: Von allen echten Fällen, wie viele hat das Programm gefunden? Sie bestraft übersehene Fälle.

Beide Werte lassen sich leicht austricksen, wenn man sie einzeln betrachtet. Wer nur bei absolut sicheren Fällen Alarm schlägt, bekommt eine hohe Präzision, übersieht aber vieles. Wer bei jedem Verdacht Alarm schlägt, findet alles, erzeugt aber Berge von Fehlalarmen. Es besteht also ein Zielkonflikt zwischen den beiden Zahlen.

Der F1-Score verbindet sie über den sogenannten harmonischen Mittelwert. Die Formel lautet: 2 mal Präzision mal Recall, geteilt durch die Summe aus Präzision und Recall. Das Besondere daran: Der harmonische Mittelwert zieht stark nach unten, sobald ein Wert schlecht ist. Bei 100 Prozent Präzision und 2 Prozent Recall käme ein einfacher Durchschnitt auf 51 Prozent. Der F1-Score liegt dagegen bei rund 4 Prozent. Nur wer in beiden Disziplinen gut ist, bekommt eine gute Note.

Der F1-Score in Ranglisten und Modellkarten

Wer sich technische Beschreibungen von KI-Systemen ansieht, stößt fast zwangsläufig auf diese Kennzahl. Sie steht in wissenschaftlichen Aufsätzen, in Modellkarten auf Plattformen wie Hugging Face und in Ausschreibungsunterlagen von Behörden. Auch beim Vergleich mehrerer Modelle in Ranglisten ist sie eine Standardgröße.

Typische Anwendungsfelder sind Textklassifikation, Objekterkennung in Bildern und das Extrahieren von Namen oder Daten aus Dokumenten. Bei mehr als zwei Klassen berechnet man den F1-Score für jede Klasse einzeln und mittelt anschließend. Diese Mittelung gibt es in zwei Varianten, Makro und Mikro genannt, die zu unterschiedlichen Ergebnissen führen können.

Ein verbreiteter Irrtum ist, dass ein hoher F1-Score ein gutes System garantiert. Er hängt immer vom Testdatensatz ab. Zwei F1-Werte sind nur dann vergleichbar, wenn beide auf denselben Daten gemessen wurden. Außerdem gewichtet der F1-Score beide Fehlerarten gleich. Bei einem Krebsscreening ist ein übersehener Fall aber viel schlimmer als ein Fehlalarm. Für solche Situationen gibt es Varianten wie den F2-Score, der die Trefferquote stärker gewichtet.