Algorithmic Bias

Viele Programme entscheiden heute mit, ohne dass ein Mensch jeden Fall prüft. Sie sortieren Bewerbungen vor, schlagen Kreditlimits vor oder erkennen Gesichter auf Fotos. Solche Programme lernen aus riesigen Sammlungen alter Beispiele. Wenn in diesen Beispielen bestimmte Gruppen benachteiligt wurden, übernimmt das Programm diese Benachteiligung. Man nennt diese systematische Schieflage Algorithmic Bias, auf Deutsch etwa algorithmische Verzerrung. Wichtig ist: Das Ergebnis ist nicht zufällig falsch, sondern trifft immer wieder dieselben Menschen.

Wenn Software Diskriminierung im großen Maßstab wiederholt

Ein einzelner voreingenommener Personalchef schadet vielleicht hundert Bewerbern. Eine voreingenommene Software prüft Millionen Bewerbungen, und zwar jedes Mal auf dieselbe Weise. Genau das macht das Problem groß: Der Fehler wird nicht ausgeglichen, sondern vervielfacht. Dazu kommt, dass Betroffene selten erfahren, warum sie abgelehnt wurden.

Ein berühmt gewordenes Beispiel stammt von Amazon. Das Unternehmen testete ab 2014 ein System zur Vorauswahl von Bewerbungen und stellte fest, dass es Frauen schlechter bewertete. Der Grund war einfach: Trainiert wurde mit Lebensläufen aus zehn Jahren, und in der Technikbranche kamen die meisten davon von Männern. Das System hatte gelernt, dass männliche Bewerber typisch für Erfolg sind. Amazon legte das Projekt still.

Inzwischen ist das auch eine rechtliche Frage. Die KI-Verordnung der EU stuft Systeme für Bewerbung, Kreditvergabe oder Strafverfolgung als Hochrisiko ein. Anbieter müssen ihre Trainingsdaten prüfen und dokumentieren. Für Unternehmen bedeutet Bias damit nicht nur Imageschaden, sondern konkrete Haftung.

Woher die Schieflage in die Daten kommt

Die häufigste Quelle sind die Trainingsdaten selbst. Ein Programm zur Gesichtserkennung, das überwiegend mit Fotos hellhäutiger Menschen gelernt hat, erkennt dunkelhäutige Gesichter deutlich schlechter. Untersuchungen fanden hier Fehlerquoten von unter einem Prozent bei hellhäutigen Männern und über dreißig Prozent bei dunkelhäutigen Frauen. Die Software ist nicht rassistisch programmiert, sie hat schlicht zu wenig Übung mit einem Teil der Menschheit.

Eine zweite Quelle ist die Zielgröße, die man messen lässt. Wer Kreditwürdigkeit an vergangenen Kreditvergaben misst, misst auch die Vorurteile der damaligen Sachbearbeiter mit. Ein dritter Weg führt über Stellvertretermerkmale. Auch wenn man Geschlecht oder Herkunft weglässt, verraten Postleitzahl, Hobbys oder Vorname oft dasselbe. Der Algorithmus findet diese Umwege von allein, weil sie die Vorhersage verbessern.

Gegenmaßnahmen setzen an drei Stellen an. Man kann die Daten ausgleichen, etwa gezielt fehlende Gruppen nachliefern. Man kann das Training so einstellen, dass gleiche Fehlerquoten für alle Gruppen belohnt werden. Und man kann Ergebnisse im Nachhinein prüfen, sogenannte Audits. Vollständig lösbar ist das Problem nicht, denn verschiedene Definitionen von Fairness widersprechen sich mathematisch.

Bias in Chatbots, Bildgeneratoren und Behördensoftware

Am leichtesten sichtbar wird der Effekt bei Bildgeneratoren. Gibt man dort früher das Stichwort Chefarzt ein, erschienen fast nur Männer, bei Krankenpflege fast nur Frauen. Die Systeme geben die Häufigkeiten aus ihren Trainingsbildern wieder, nicht die Wirklichkeit. Ähnliches gilt für Chatbots, die Berufe oder Namen ungleich verteilen.

In den Nachrichten taucht der Begriff meist im Zusammenhang mit Behörden auf. In den Niederlanden führte ein Betrugserkennungssystem für Kindergeld dazu, dass tausende Familien mit Migrationshintergrund zu Unrecht als Betrüger geführt wurden. Der Skandal brachte 2021 die Regierung zu Fall. Solche Fälle sind der Grund, warum Aufsichtsbehörden heute genauer hinsehen.

Ein verbreiteter Irrtum lautet, ein Computer sei automatisch neutral, weil er nur rechnet. Tatsächlich ist er genau so neutral wie die Daten und die Zielvorgaben, die er bekommt. Wer den Begriff in einem Produkttext liest, sollte deshalb nachfragen, wie gemessen wurde. Ein Anbieter, der Fairness behauptet, aber keine Zahlen für einzelne Gruppen nennt, hat wenig gesagt.