Präzision
Präzision ist eine Kennzahl, die angibt, welcher Anteil der positiven Meldungen eines Systems tatsächlich richtig war. Sie misst also, wie verlässlich ein Treffer ist – und nicht, wie viele Treffer das System insgesamt gefunden hat.
Ein Computerprogramm soll in tausend E-Mails alle Werbemails finden. Es meldet hundert Mails als Werbung. Achtzig davon sind wirklich Werbung, zwanzig sind harmlose Nachrichten von Freunden. Die Präzision beträgt in diesem Fall 80 Prozent, also 80 von 100 Meldungen. Präzision beantwortet damit genau eine Frage: Wenn das Programm Alarm schlägt, wie oft hat es recht? Sie sagt nichts darüber, wie viele Werbemails das Programm übersehen hat.
Was ein Fehlalarm kostet
Eine einzige Prozentzahl für die Qualität eines Systems reicht selten aus. Man kann ein Programm sehr leicht so einstellen, dass es fast alles meldet. Dann findet es zwar jede Werbemail, sortiert aber auch viele wichtige Nachrichten aus. Genau diesen Fehler macht die Präzision sichtbar.
Wie schlimm ein Fehlalarm ist, hängt vom Anwendungsfall ab. Bei einem Spamfilter verschwindet vielleicht eine Bewerbung im Müllordner. Bei einer medizinischen Bilderkennung bedeutet ein Fehlalarm eine unnötige Operation. Bei einer Gesichtserkennung der Polizei bedeutet er, dass ein unschuldiger Mensch kontrolliert wird. In solchen Bereichen wird eine hohe Präzision gefordert, auch wenn das System dafür mehr echte Fälle übersieht.
Wichtig ist auch ein häufiger Irrtum: Eine hohe Präzision ist kein Beweis für ein gutes System. Ein Programm, das nur einen einzigen, völlig offensichtlichen Fall meldet und diesen richtig trifft, hat 100 Prozent Präzision. Es ist trotzdem nutzlos, weil es fast alles übersieht.
Die Rechnung mit den vier Kästchen
Für die Berechnung sortiert man alle Entscheidungen in vier Gruppen. Richtig positiv heißt: gemeldet und tatsächlich zutreffend. Falsch positiv heißt: gemeldet, aber in Wahrheit harmlos. Dazu kommen die übersehenen Fälle und die korrekt ignorierten Fälle. Präzision ist die Zahl der richtig positiven Meldungen geteilt durch alle Meldungen, also richtig positiv plus falsch positiv.
Der Gegenspieler der Präzision heißt Trefferquote oder Recall. Sie fragt: Welchen Anteil aller wirklich vorhandenen Fälle hat das System gefunden? Zwischen beiden Zahlen gibt es fast immer einen Zielkonflikt. Wird ein System vorsichtiger, steigt die Präzision und die Trefferquote sinkt. Wird es mutiger, ist es umgekehrt.
Steuern lässt sich das über eine Schwelle. Viele Modelle geben keine feste Antwort aus, sondern eine Wahrscheinlichkeit, etwa « 87 Prozent Spam ». Erst der Betreiber legt fest, ab welchem Wert gemeldet wird. Eine hohe Schwelle von 95 Prozent bringt viel Präzision, eine niedrige von 50 Prozent viele Treffer. Weil eine einzelne Zahl oft täuscht, nennen Fachleute meist beide Werte oder fassen sie im sogenannten F1-Wert zusammen, einem Mittelwert aus Präzision und Trefferquote.
Präzision in Produktankündigungen und Studien
Wer Meldungen über neue KI-Systeme liest, stößt ständig auf solche Angaben. Hersteller von Betrugserkennung für Banken werben mit Präzisionswerten, weil jeder falsche Verdacht einen wütenden Kunden bedeutet. In wissenschaftlichen Veröffentlichungen zu Bilderkennung oder Suchmaschinen stehen Präzision und Trefferquote fast immer nebeneinander in einer Tabelle.
Auch im Alltag ist der Effekt spürbar. Der Spamordner im Postfach, die Vorschläge einer Suchmaschine, die Inhaltsfilter einer Videoplattform: Überall wurde eine Schwelle festgelegt und damit eine Entscheidung über Präzision getroffen. Wenn eine Plattform harmlose Videos sperrt, ist ihr Filter zu unpräzise eingestellt.
Beim Lesen solcher Zahlen lohnt eine Rückfrage. Eine Präzision von 99 Prozent klingt beeindruckend, sagt aber wenig, solange die Trefferquote fehlt. Und sie gilt immer nur für die Testdaten, mit denen gemessen wurde. In der Praxis, mit anderen Nutzern und neuen Betrugsmaschen, fallen die Werte oft deutlich schlechter aus.