False Positive

Viele automatische Systeme müssen eine Ja-oder-Nein-Entscheidung treffen. Ist diese E-Mail Werbemüll? Ist auf dem Röntgenbild ein Tumor? Ist diese Kreditkartenzahlung ein Betrug? Sagt das System „ja“, obwohl die richtige Antwort „nein“ gewesen wäre, nennt man das ein False Positive. Auf Deutsch heißt das Fehlalarm oder Falschtreffer. Der Gegenfall heißt False Negative: Das System sagt „nein“, obwohl tatsächlich etwas vorlag — der Betrug wird also übersehen.

Warum Fehlalarme teurer sind, als sie klingen

Ein einzelner Fehlalarm wirkt harmlos. In großen Mengen zerstört er aber das Vertrauen in ein System. Wer täglich zwanzig grundlose Warnungen bekommt, klickt sie irgendwann weg, ohne hinzusehen. Fachleute nennen das Alarmmüdigkeit. Dann rutscht auch der eine echte Alarm durch, auf den es angekommen wäre.

Dazu kommen die direkten Kosten. Jede Fehlmeldung eines Betrugsfilters bedeutet eine blockierte Zahlung und einen verärgerten Kunden. Jeder falsche Verdacht auf einem medizinischen Bild bedeutet eine weitere Untersuchung, oft mit Angst und Wartezeit für den Patienten. Bei Inhaltsfiltern auf Social-Media-Plattformen bedeutet er einen gelöschten Beitrag, der eigentlich erlaubt war.

Ein häufiger Irrtum ist, man könne beide Fehlerarten gleichzeitig beliebig verringern. In der Praxis gibt es fast immer einen Kompromiss. Wer die Zahl der Fehlalarme senkt, übersieht mehr echte Fälle — und umgekehrt. Welche Seite schlimmer ist, hängt vom Anwendungsfall ab und ist eine Entscheidung von Menschen, nicht von der Technik.

Der Schwellenwert entscheidet

Die meisten KI-Systeme geben keine harte Entscheidung aus, sondern eine Zahl zwischen 0 und 1. Sie steht für die geschätzte Wahrscheinlichkeit, dass der gesuchte Fall vorliegt. Aus dieser Zahl wird erst durch einen Schwellenwert ein Ja oder Nein. Liegt der Wert bei 0,9, meldet das System nur bei sehr großer Sicherheit — es gibt wenige Fehlalarme, aber viele übersehene Fälle. Liegt er bei 0,3, ist es umgekehrt.

Zur Bewertung nutzt man zwei Kennzahlen. Die Präzision sagt: Wie viele der gemeldeten Fälle waren echt? Sie sinkt, wenn es viele False Positives gibt. Die Trefferquote, englisch Recall, sagt: Wie viele der echten Fälle wurden gefunden? Sie sinkt, wenn viele Fälle übersehen werden. Gute Berichte über KI-Systeme nennen immer beide Zahlen.

Besonders tückisch sind seltene Ereignisse. Angenommen, eine Krankheit betrifft eine von 10.000 Personen, und ein Test irrt sich in einem von hundert Fällen. Testet man eine Million Menschen, gibt es rund 100 echte Fälle — aber etwa 10.000 Fehlalarme. Von hundert positiven Ergebnissen wäre dann nur eines richtig. Ein Test kann also sehr genau klingen und trotzdem fast nur Fehltreffer produzieren.

Von Spamfiltern bis zur Gesichtserkennung

Im Alltag begegnet man False Positives ständig. Der Spamfilter im Postfach verschiebt die Bewerbungsantwort in den Werbeordner. Das Virenprogramm hält eine harmlose Datei für Schadsoftware. Die Bank sperrt die Karte, weil eine Zahlung im Urlaub ungewöhnlich aussah. Ein Plagiatsprüfer markiert ein korrekt zitiertes Zitat als Abschrift.

In Nachrichten tauchen False Positives besonders bei zwei Themen auf. Erstens bei automatischer Gesichtserkennung: Studien haben gezeigt, dass die Fehlalarmrate für manche Personengruppen deutlich höher liegt als für andere. Zweitens bei Programmen, die KI-geschriebene Texte erkennen wollen. Solche Werkzeuge stufen regelmäßig selbst geschriebene Schülertexte als KI-Text ein, weshalb viele Schulen und Universitäten ihnen misstrauen.

Deshalb baut man in kritische Systeme meist einen Menschen ein, der die Meldungen prüft. Die KI sortiert vor, ein Mensch entscheidet. Wenn du in einer Produktankündigung liest, ein System arbeite „mit 99 Prozent Genauigkeit“, lohnt die Frage nach den Fehlalarmen. Bei seltenen Ereignissen sagt eine solche Zahl allein fast nichts aus.