Bias in KI-Modellen
Bias in KI-Modellen bezeichnet systematische Verzerrungen: Ein Computerprogramm behandelt bestimmte Gruppen oder Fälle regelmäßig anders, ohne dass es dafür einen sachlichen Grund gibt. Die Ursache liegt meist in den Daten, aus denen das Programm gelernt hat.
Moderne Computerprogramme für künstliche Intelligenz lernen aus riesigen Mengen an Beispielen. Aus diesen Beispielen leiten sie Muster ab, die sie später auf neue Fälle anwenden. Wenn die Beispiele einseitig sind, wird auch das gelernte Muster einseitig. Das Programm behandelt dann bestimmte Menschen oder Fälle systematisch anders, obwohl es dafür keinen sachlichen Grund gibt. Genau diese schiefe Tendenz nennt man Bias, auf Deutsch: Verzerrung. Wichtig ist das Wort systematisch: Es geht nicht um einzelne Ausrutscher, sondern um einen Fehler, der sich immer wieder in dieselbe Richtung wiederholt.
Wenn Software Benachteiligung im großen Stil wiederholt
Ein einzelner Mensch, der Vorurteile hat, trifft am Tag vielleicht zwanzig Entscheidungen. Eine Software trifft Millionen. Deshalb wirkt eine Verzerrung in einem Modell viel stärker als dieselbe Verzerrung in einem Kopf. Sie wird außerdem gleichmäßig angewendet, also gibt es keine zweite Meinung, die den Fehler ausgleicht.
Ein bekanntes Beispiel stammt von Amazon. Das Unternehmen testete ab 2014 ein Programm zur Vorauswahl von Bewerbungen. Trainiert wurde es mit Lebensläufen aus zehn Jahren, und die kamen überwiegend von Männern. Das Programm schloss daraus, dass Männer die besseren Kandidaten seien, und wertete Lebensläufe mit dem Wort „Frauen“ ab. Amazon stellte das Projekt 2018 ein.
Dazu kommt ein rechtliches Problem. Wer Menschen wegen Geschlecht, Herkunft oder Alter benachteiligt, verstößt in Deutschland gegen das Allgemeine Gleichbehandlungsgesetz. Es hilft nicht, auf die Software zu zeigen. Verantwortlich bleibt das Unternehmen, das sie einsetzt. Die KI-Verordnung der EU verlangt für riskante Anwendungen wie Bewerbungsauswahl oder Kreditvergabe deshalb ausdrücklich eine Prüfung der Trainingsdaten.
Woher die Schieflage in den Daten kommt
Die häufigste Quelle sind unausgewogene Trainingsdaten. Wenn ein Gesichtserkennungssystem fast nur mit hellhäutigen Gesichtern gefüttert wurde, erkennt es dunkelhäutige Gesichter schlechter. Studien am MIT zeigten 2018 genau das: Bei hellhäutigen Männern lag die Fehlerquote unter einem Prozent, bei dunkelhäutigen Frauen bei über dreißig Prozent. Das Modell war nicht böswillig, es hatte schlicht zu wenig geübt.
Eine zweite Quelle ist heikler. Manchmal spiegeln die Daten die Wirklichkeit korrekt wider, aber die Wirklichkeit selbst ist ungerecht. Historische Gehaltsdaten enthalten die Lohnlücke zwischen Männern und Frauen. Ein Modell, das daraus Gehaltsvorschläge ableitet, schreibt diese Lücke einfach fort. Es sagt die Vergangenheit korrekt vorher und macht sie damit zur Zukunft.
Ein verbreiteter Irrtum lautet, man müsse nur das Merkmal Geschlecht oder Herkunft aus den Daten löschen. Das funktioniert nicht. Modelle finden Ersatzmerkmale, sogenannte Proxys: die Postleitzahl, der besuchte Sportverein, die Formulierung im Lebenslauf. Über solche Umwege rekonstruiert das Modell die gelöschte Information. Gegenmaßnahmen setzen deshalb eher darauf, die Trainingsdaten gezielt auszugleichen und die Ergebnisse getrennt nach Gruppen zu messen.
Bias im Alltag und in der Berichterstattung
Man begegnet dem Thema öfter, als man denkt. Übersetzungsprogramme machten aus geschlechtsneutralen Berufsbezeichnungen lange automatisch „der Arzt“ und „die Krankenschwester“. Bildgeneratoren zeigten auf die Eingabe „CEO“ fast ausschließlich weiße Männer in Anzügen. Sprachmodelle beantworten dieselbe Frage unterschiedlich, je nachdem, welcher Name im Text steht.
In den Wirtschaftsnachrichten taucht Bias meist in zwei Zusammenhängen auf. Erstens bei Klagen und Bußgeldern, etwa wenn eine Bank oder eine Versicherung ein Bewertungssystem einsetzt, das Kunden ungleich behandelt. Zweitens bei den technischen Berichten der KI-Anbieter, den sogenannten Model Cards, in denen Firmen dokumentieren, welche Verzerrungen sie in ihren Modellen gemessen haben.
Abzugrenzen ist der Begriff von der Halluzination. Halluziniert ein Modell, erfindet es eine falsche Tatsache. Bei Bias ist die Antwort oft sachlich vertretbar, aber für bestimmte Gruppen dauerhaft schlechter. Deshalb fällt Bias auch seltener sofort auf. Man entdeckt ihn nicht an einer einzelnen Antwort, sondern erst in der Statistik über viele tausend Fälle.