Fehlurteile

Ein Fehlurteil ist eine Entscheidung oder Einschätzung, die sich als falsch herausstellt. Der Begriff stammt aus dem Rechtswesen: Ein Gericht verurteilt jemanden, der unschuldig ist. In der Technikwelt wird er ähnlich verwendet. Ein Computerprogramm bewertet einen Fall und liegt daneben. Es hält zum Beispiel eine harmlose Überweisung für Betrug oder eine erfundene Behauptung für eine gesicherte Tatsache. Das Besondere daran: Solche Programme geben ihre Antwort meist ohne jedes Zögern aus, egal ob sie richtig oder falsch liegen.

Wenn falsche Einschätzungen echte Folgen haben

Früher trafen solche Urteile fast immer Menschen. Ein Sachbearbeiter prüfte einen Kreditantrag, ein Arzt beurteilte ein Röntgenbild. Menschen irren sich auch, aber sie tun es einzeln und unterschiedlich. Ein Programm irrt sich systematisch. Wenn es einen bestimmten Fehler macht, macht es ihn bei allen ähnlichen Fällen wieder, tausendfach und in Sekunden.

Genau darin liegt der Unterschied zu einem menschlichen Irrtum. Ein einzelner voreingenommener Sachbearbeiter benachteiligt vielleicht ein paar Dutzend Menschen. Ein Programm mit demselben Denkfehler kann Hunderttausende betreffen. Und weil es überall gleich entscheidet, gibt es keine zweite Meinung mehr. Wer abgelehnt wird, wird überall abgelehnt.

Dazu kommt ein psychologisches Problem. Menschen vertrauen Computerergebnissen oft stärker als ihrem eigenen Urteil. Fachleute nennen das automation bias, also die Neigung, der Maschine zu glauben. Ein Arzt, der einer Software widerspricht, muss sich rechtfertigen. Ein Arzt, der ihr folgt, nicht. So bleiben Fehlurteile oft unentdeckt.

Wie eine Maschine zu einer falschen Antwort kommt

KI-Systeme lernen aus Beispielen. Man zeigt einem Programm Millionen alter Fälle mit bekanntem Ausgang, und es sucht darin nach Mustern. Danach wendet es diese Muster auf neue Fälle an. Das Programm versteht dabei nichts. Es erkennt nur, was in den Beispielen häufig zusammen auftrat.

Daraus entstehen typische Fehlerquellen. Erstens können die Beispiele einseitig sein. Ein Gesichtserkennungssystem, das fast nur mit hellhäutigen Gesichtern trainiert wurde, erkennt dunkle Hauttöne schlechter. Zweitens kann das Programm ein Muster lernen, das gar nicht zur Sache gehört. Ein bekanntes Beispiel ist eine Bilderkennung, die Wölfe von Hunden unterscheiden sollte und in Wahrheit nur auf Schnee im Hintergrund achtete.

Bei Textprogrammen wie Chatbots kommt eine dritte Quelle dazu. Sie sagen Wort für Wort voraus, was gut weitergehen würde. Klingt eine erfundene Antwort flüssig, wird sie ausgegeben. Fachleute sprechen dann von Halluzinationen, also erfundenen Angaben in überzeugender Sprache. Das Programm merkt nicht, dass es etwas erfindet, weil es Wahrheit und Wahrscheinlichkeit nicht unterscheidet.

Von der Kreditablehnung bis zur erfundenen Quelle

Im Alltag begegnen Fehlurteile einem öfter, als man denkt. Banken prüfen Kreditanträge automatisch. Onlineshops sperren Konten, die sie für betrügerisch halten. Plattformen löschen Beiträge, die ein Filter für verboten hält. In all diesen Fällen entscheidet eine Software zuerst, und ein Mensch schaut höchstens hinterher darauf.

In den Nachrichten tauchen Fehlurteile meist dann auf, wenn sie ans Licht kommen. In den Niederlanden wurden Tausende Familien zu Unrecht des Betrugs bei Kindergeld verdächtigt, weil ein Risikosystem falsch einschätzte. Der Skandal führte 2021 zum Rücktritt der Regierung. In den USA wurden mehrfach Menschen aufgrund fehlerhafter Gesichtserkennung festgenommen.

Auch deshalb schreibt die europäische KI-Verordnung für heikle Bereiche vor, dass Menschen die Entscheidungen kontrollieren müssen. Ein verbreiteter Irrtum ist übrigens, dass mehr Daten Fehlurteile automatisch beseitigen. Sind die Daten selbst schief, verstärkt eine größere Menge den Fehler nur. Entscheidend ist, wofür ein System getestet wurde und wer widersprechen darf.