PR-AUC
PR-AUC ist eine Kennzahl, die misst, wie gut ein Computerprogramm seltene Fälle erkennt – etwa Betrugsversuche unter Millionen normaler Zahlungen. Sie fasst zusammen, wie zuverlässig die Treffer des Programms sind und wie viele der gesuchten Fälle es überhaupt findet.
PR-AUC ist eine Note für Programme, die etwas Seltenes aus einer großen Menge herausfischen sollen. Ein Beispiel: Eine Bank prüft täglich Millionen Überweisungen, und nur ein winziger Bruchteil davon ist Betrug. Ein Prüfprogramm gibt für jede Überweisung eine Verdachtszahl aus. Bei der Bewertung interessieren zwei Dinge: Wie viele der Alarme sind echter Betrug? Und wie viel vom gesamten Betrug hat das Programm überhaupt bemerkt? PR-AUC drückt beide Fragen zusammen in einer einzigen Zahl zwischen 0 und 1 aus, wobei höher besser ist.
Warum bei seltenen Fällen die Trefferquote lügt
Die naheliegendste Bewertung ist die Trefferquote: Wie viel Prozent aller Entscheidungen waren richtig? Bei seltenen Ereignissen ist diese Zahl wertlos. Wenn nur eine von tausend Überweisungen Betrug ist, erreicht ein Programm 99,9 Prozent Genauigkeit, indem es immer „kein Betrug“ sagt. Es hätte dann keinen einzigen Betrugsfall gefunden und wäre trotzdem fast fehlerfrei. PR-AUC fällt auf diesen Trick nicht herein, weil sie die vielen langweiligen Normalfälle nicht mitzählt.
Deshalb greifen Fachleute genau dann zu PR-AUC, wenn eine Klasse stark in der Unterzahl ist. Typische Felder sind Betrugserkennung, medizinische Vorsorgeuntersuchungen, Spamfilter und die Suche nach defekten Teilen in der Produktion. In all diesen Fällen sind die gesuchten Fälle selten, aber teuer, wenn man sie übersieht.
Ein verwandtes Maß heißt ROC-AUC. Es berücksichtigt zusätzlich, wie gut die Normalfälle als normal erkannt werden. Bei extrem seltenen Ereignissen sieht ROC-AUC oft beeindruckend hoch aus, obwohl das Programm in der Praxis unbrauchbar ist. PR-AUC ist in solchen Situationen der ehrlichere Maßstab.
Von zwei Prozentwerten zu einer Kurve
Hinter PR-AUC stecken zwei Grundwerte. Die Präzision fragt: Wenn das Programm Alarm schlägt, wie oft liegt es richtig? Der Recall fragt: Von allen tatsächlich vorhandenen Fällen, wie viele hat es gemeldet? Beide Werte hängen von einer Schwelle ab. Schlägt das Programm schon ab Verdachtszahl 0,3 Alarm, findet es viel, produziert aber viele Fehlalarme. Wartet es bis 0,9, sind die Alarme verlässlich, aber es übersieht Fälle.
Man muss sich also nicht für eine Schwelle entscheiden, um das Programm zu bewerten. Stattdessen probiert man alle möglichen Schwellen durch. Für jede notiert man das Paar aus Präzision und Recall und trägt es in ein Diagramm ein. Die Punkte ergeben zusammen eine Kurve, die Precision-Recall-Kurve.
PR-AUC ist die Fläche unter dieser Kurve. Wölbt sich die Kurve weit nach oben rechts, bleibt die Präzision auch bei hohem Recall gut, und die Fläche wird groß. Ein wichtiger Unterschied zu anderen Kennzahlen: Der schlechteste sinnvolle Wert ist nicht 0,5, sondern der Anteil der seltenen Klasse. Bei einem Betrugsanteil von einem Prozent rät ein zufälliges Programm auf PR-AUC 0,01. Ein Wert von 0,3 wäre dort also bereits ein sehr gutes Ergebnis, obwohl die Zahl klein aussieht.
Wo die Zahl in Berichten und Produkten auftaucht
In Forschungsarbeiten zu Medizin und Sicherheit steht PR-AUC fast immer in den Ergebnistabellen. Auch Unternehmen nennen sie, wenn sie ein neues Erkennungssystem vorstellen, etwa für Kreditkartenbetrug oder für auffällige Netzwerkzugriffe. Wer Programme selbst trainiert, findet die Kennzahl in gängigen Werkzeugkästen unter Namen wie average_precision_score.
Ein häufiger Irrtum ist, PR-AUC-Werte verschiedener Studien direkt zu vergleichen. Das geht nicht, weil der Wert vom Anteil der seltenen Klasse abhängt. Derselbe Algorithmus erreicht auf einem Datensatz mit fünf Prozent Betrugsfällen automatisch eine höhere Zahl als auf einem mit einem halben Prozent. Sinnvoll ist der Vergleich nur zwischen Programmen, die auf denselben Daten getestet wurden.