Precision
Precision ist eine Kennzahl, die misst, wie verlässlich die Treffer eines Systems sind: Von allen Fällen, die es als positiv meldet, gibt sie den Anteil an, der tatsächlich positiv ist. Sie wird vor allem dort betrachtet, wo Fehlalarme teuer oder lästig sind.
Ein Computerprogramm, das etwas erkennen soll, meldet immer wieder Treffer. Ein Spamfilter meldet zum Beispiel: Diese Mail ist Werbemüll. Precision beantwortet die Frage, wie oft solche Meldungen stimmen. Man zählt dazu alle gemeldeten Treffer und schaut nach, wie viele davon wirklich richtig waren. Meldet der Filter 100 Mails als Spam und sind 90 davon tatsächlich Spam, liegt die Precision bei 90 Prozent. Der Wert liegt immer zwischen 0 und 1, oft geschrieben als Prozentzahl.
Was ein Fehlalarm kostet
Eine niedrige Precision bedeutet viele Fehlalarme. Beim Spamfilter heißt das: wichtige Mails landen im Müllordner. Bei einer Bank, deren Software verdächtige Überweisungen markiert, heißt es: harmlose Kunden werden blockiert und müssen anrufen. Jeder dieser Fälle kostet Zeit, Geld oder Vertrauen. Deshalb ist Precision oft die Kennzahl, auf die Unternehmen am genauesten schauen.
Eine einzelne Zahl wie « 95 Prozent richtig » sagt dagegen erstaunlich wenig. Stell dir eine Krankheit vor, die einer von tausend Menschen hat. Ein Programm, das schlicht bei jedem « gesund » sagt, liegt in 99,9 Prozent der Fälle richtig. Trotzdem ist es völlig nutzlos. Precision zwingt dazu, nur die gemeldeten Fälle anzusehen, und deckt solche Scheinerfolge auf.
Wichtig ist die Abgrenzung zum Recall, dem Gegenstück. Recall fragt nicht nach den Meldungen, sondern nach den echten Fällen: Wie viele davon hat das System überhaupt gefunden? Ein System kann eine perfekte Precision haben und trotzdem schlecht sein, wenn es fast nichts meldet.
Die Rechnung hinter der Kennzahl
Man teilt die Meldungen eines Systems in zwei Gruppen. Die richtigen Treffer heißen True Positives, also erkannter Spam, der wirklich Spam war. Die Fehlalarme heißen False Positives, also gemeldete Mails, die eigentlich harmlos sind. Precision ist die Zahl der richtigen Treffer geteilt durch alle Meldungen zusammen. Fälle, die das System gar nicht gemeldet hat, tauchen in dieser Rechnung nicht auf.
Praktisch lässt sich Precision fast immer nachträglich verschieben. Die meisten Modelle geben keine harte Ja-Nein-Antwort aus, sondern einen Sicherheitswert zwischen 0 und 1. Erst eine Schwelle macht daraus eine Entscheidung. Setzt man die Schwelle hoch, meldet das System nur noch sehr eindeutige Fälle. Die Precision steigt, aber viele echte Fälle rutschen durch.
Genau darin liegt der Zielkonflikt. Precision und Recall lassen sich selten gleichzeitig maximieren. Wer beides in einer Zahl zusammenfassen will, nutzt den F1-Score, eine Art Mittelwert aus beiden. Welche Seite wichtiger ist, entscheidet nicht die Mathematik, sondern der Anwendungsfall.
Precision in Produkten und Schlagzeilen
In Nachrichten über KI-Systeme taucht Precision meist dann auf, wenn ein Anbieter seine Erkennungsleistung belegen will. Hersteller von Software gegen Kreditkartenbetrug, von medizinischer Bildauswertung oder von Werkzeugen zur Textprüfung nennen die Zahl in Datenblättern. Kritisch wird es, wenn nur ein einzelner Wert genannt wird. Ohne Angabe von Recall und Testdaten ist eine hohe Precision leicht zu erzeugen.
Ein bekanntes Beispiel sind Programme, die erkennen sollen, ob ein Aufsatz von einer KI geschrieben wurde. Auch bei ordentlicher Precision bleiben Fehlalarme, und jeder einzelne trifft einen Schüler, der den Text selbst verfasst hat. Deshalb haben mehrere Anbieter solche Werkzeuge wieder eingestellt. Die Kennzahl allein sagt eben nichts darüber, wie schwer ein Fehler wiegt.
Auch im Alltag begegnet man dem Prinzip ständig, ohne den Namen zu hören. Die Gesichtserkennung des Handys, die Autokorrektur der Tastatur und die Empfehlungen eines Streamingdienstes werden nach demselben Muster bewertet. Wer künftig eine Trefferquote liest, sollte die Rückfrage stellen: Wie viele Meldungen gab es insgesamt, und was wurde dabei übersehen?