AUROC
AUROC ist eine Kennzahl dafür, wie gut ein Computerprogramm zwei Gruppen auseinanderhalten kann, etwa kranke und gesunde Patienten. Der Wert liegt zwischen 0,5 (reines Raten) und 1,0 (perfekte Trennung).
Viele Computerprogramme sollen entscheiden, ob etwas zu einer Gruppe gehört oder nicht. Eine typische Frage lautet: Ist diese E-Mail Werbemüll oder nicht? Solche Programme antworten meist nicht mit Ja oder Nein, sondern geben eine Punktzahl aus, zum Beispiel 0,83. Je höher die Punktzahl, desto sicherer ist sich das Programm. AUROC misst nun, ob diese Punktzahlen die beiden Gruppen sauber sortieren. Der Wert beantwortet genau eine Frage: Wenn man zufällig einen echten Werbemüll und eine echte normale Mail herausgreift, wie oft bekommt der Werbemüll die höhere Punktzahl? Bei 0,5 rät das Programm nur, bei 1,0 liegt es immer richtig.
Warum eine Trefferquote allein in die Irre führt
Die naheliegendste Kennzahl wäre der Anteil richtiger Entscheidungen, also die Genauigkeit. Die kann aber katastrophal täuschen. Angenommen, eine seltene Krankheit betrifft eine von tausend Personen. Ein Programm, das stur bei jedem Menschen « gesund » sagt, liegt in 99,9 Prozent der Fälle richtig. Es ist trotzdem vollkommen nutzlos, weil es keinen einzigen Kranken findet.
AUROC fällt auf diesen Trick nicht herein. Ein Programm, das allen dieselbe Punktzahl gibt, landet bei 0,5. Denn dann entscheidet bei jedem Vergleich reiner Zufall, wer vorne liegt. Die Kennzahl schaut also nicht auf die Menge der Treffer, sondern auf die Reihenfolge der Punktzahlen.
Dazu kommt ein praktischer Vorteil. Ob ein Programm eine Mail bei 0,5 oder erst bei 0,9 als Werbemüll aussortiert, ist eine Einstellungssache. Diese Grenze heißt Schwellenwert und kann jederzeit verschoben werden. AUROC bewertet das Programm über alle möglichen Schwellenwerte hinweg. Deshalb steht die Zahl in fast jeder Forschungsarbeit, in der zwei Modelle verglichen werden.
Von der Punktzahl zur Fläche unter der Kurve
Der volle Name lautet « Area Under the Receiver Operating Characteristic Curve », also Fläche unter der ROC-Kurve. Diese Kurve entsteht so: Man verschiebt den Schwellenwert schrittweise von ganz streng bis ganz locker. Für jede Einstellung notiert man zwei Werte. Erstens, welcher Anteil der echten Fälle gefunden wurde. Zweitens, welcher Anteil der harmlosen Fälle fälschlich Alarm ausgelöst hat.
Trägt man diese Paare in ein Diagramm ein, ergibt sich eine Kurve von der linken unteren zur rechten oberen Ecke. Ein gutes Programm wölbt sich weit nach links oben: viele Treffer bei wenigen Fehlalarmen. Ein reines Zufallsprogramm liefert eine gerade Diagonale. Die Fläche unter dieser Kurve ist der AUROC-Wert. Bei der Diagonalen ist genau die Hälfte des Quadrats gefüllt, also 0,5.
Ein Wert unter 0,5 sieht nach einem sehr schlechten Modell aus, ist aber meist nur verdreht. Wer alle Entscheidungen umkehrt, kommt dann über 0,5. Ein häufiger Irrtum ist außerdem, AUROC als « Wahrscheinlichkeit, richtig zu liegen » zu lesen. Gemeint ist immer die Wahrscheinlichkeit der richtigen Reihenfolge bei einem Paarvergleich.
AUROC in Medizinstudien und Modellvergleichen
Am häufigsten begegnet die Zahl in der Medizin. Wenn eine Firma meldet, ihre KI erkenne Hautkrebs mit einem AUROC von 0,94, ist genau diese Kennzahl gemeint. Auch Banken nutzen sie, um Programme zur Bewertung von Kreditrisiken zu prüfen. In der Betrugserkennung bei Kreditkarten ist sie ebenfalls Standard.
Beim Lesen solcher Meldungen lohnt Skepsis. Ein hoher Wert sagt nichts darüber, ob das Programm auf neuen, unbekannten Daten genauso gut arbeitet. Und bei sehr seltenen Ereignissen wirkt AUROC oft freundlicher, als es der Alltag hergibt. Fachleute nennen dann zusätzlich eine verwandte Kennzahl, die AUPRC, die strenger auf die seltene Gruppe schaut.
Für dich als Leser reicht eine grobe Einordnung. Werte um 0,7 gelten als brauchbar, ab 0,8 als gut, ab 0,9 als sehr gut. Wichtig bleibt der Vergleich: Eine Zahl allein sagt wenig, spannend wird sie neben dem bisher besten Verfahren.