Fairness-Testing

Viele Entscheidungen werden heute von Computerprogrammen vorbereitet. Eine Bank lässt ein Programm einschätzen, ob jemand einen Kredit zurückzahlen kann. Ein Unternehmen lässt Bewerbungen vorsortieren. Solche Programme lernen aus alten Daten, und alte Daten enthalten oft alte Ungerechtigkeiten. Fairness-Testing ist der Versuch, genau das zu messen: Man prüft mit Zahlen, ob das Programm bestimmte Gruppen von Menschen systematisch schlechter behandelt. Dabei geht es nicht um das Bauchgefühl einzelner Entwickler, sondern um nachvollziehbare Tests mit klaren Ergebnissen.

Wenn Software Benachteiligung im großen Stil wiederholt

Ein einzelner Sachbearbeiter mit Vorurteilen trifft vielleicht hundert Entscheidungen im Monat. Ein Programm trifft hunderttausend, und zwar immer nach demselben Muster. Ein Fehler, der bei einem Menschen ein Einzelfall wäre, wird hier zum System. Deshalb reicht es nicht, dass ein Modell im Durchschnitt gute Ergebnisse liefert. Man muss wissen, für wen es schlechter arbeitet.

Ein bekanntes Beispiel: Amazon entwickelte ab 2014 ein Programm zur Vorauswahl von Bewerbungen. Es hatte aus Lebensläufen der vergangenen zehn Jahre gelernt, und die stammten überwiegend von Männern. Das Programm stufte Bewerbungen ab, in denen das Wort « Frauen » vorkam, etwa bei einem Frauen-Schachclub. Amazon stellte das Projekt 2018 ein. Aufgefallen ist der Fehler erst, weil jemand gezielt danach gesucht hat.

Seit 2024 gibt es zusätzlich einen rechtlichen Druck. Die KI-Verordnung der EU stuft Systeme für Kreditvergabe, Personalauswahl oder Strafverfolgung als Hochrisiko-Anwendungen ein. Wer sie anbietet, muss Verzerrungen in den Trainingsdaten untersuchen und dokumentieren. Fairness-Testing wird damit von einer freiwilligen Übung zu einer Pflicht mit Nachweis.

Gruppen vergleichen, Kennzahlen ausrechnen

Der Grundgedanke ist einfach. Man teilt die Testdaten nach einem Merkmal auf, etwa Geschlecht, Alter oder Herkunft. Dann lässt man das Modell für beide Gruppen entscheiden und vergleicht die Ergebnisse. Weichen sie deutlich voneinander ab, liegt ein Verdacht vor.

Schwierig wird es bei der Frage, was « fair » genau bedeutet. Eine Kennzahl misst, ob beide Gruppen gleich oft eine Zusage bekommen. Eine andere misst, ob unter den tatsächlich geeigneten Bewerbern beide Gruppen gleich oft erkannt werden. Eine dritte schaut auf die Fehlerquote bei Ablehnungen. Diese Definitionen widersprechen sich mathematisch: Man kann sie in der Regel nicht alle gleichzeitig erfüllen. Fairness-Testing zwingt ein Unternehmen deshalb, sich für eine Definition zu entscheiden und diese Wahl zu begründen.

Ein häufiger Irrtum ist, man müsse nur das kritische Merkmal aus den Daten löschen. Streicht man das Geschlecht, findet das Modell Ersatzmerkmale: die Postleitzahl, den Studiengang, die Wortwahl im Lebenslauf. Fachleute nennen solche Umwege Proxy-Variablen, also Stellvertreter für die eigentlich verbotene Information. Genau deshalb testet man am fertigen Ergebnis und nicht nur an der Datenliste. Ergänzend arbeitet man mit erfundenen Testfällen, bei denen zwei Bewerbungen identisch sind und sich nur in einem Merkmal unterscheiden.

Vom Prüfbericht bis zur Schlagzeile

Direkt sichtbar ist Fairness-Testing selten, es steckt in Prüfberichten und internen Freigaben. Große Anbieter wie Google, IBM und Microsoft stellen dafür frei verfügbare Werkzeuge bereit, etwa das Fairness Indicators genannte Paket oder die Bibliothek AIF360. Große Sprachmodelle werden vor der Veröffentlichung ebenfalls auf Verzerrungen geprüft, oft zusammen mit Sicherheitstests.

In den Nachrichten taucht der Begriff meist dann auf, wenn ein Test gefehlt hat. Berichte über Gesichtserkennung, die dunkle Hautfarben schlechter erkennt, oder über Sozialbehörden, die mit fehlerhaften Modellen Betrug vermuteten, gehen auf solche Lücken zurück. Für Anleger ist das relevant, weil daraus Bußgelder, Rückrufe und Vertrauensverluste folgen können.

Wichtig bleibt: Ein bestandener Fairness-Test ist kein Gütesiegel für Gerechtigkeit. Er sagt nur, dass eine bestimmte Kennzahl bei bestimmten Gruppen in bestimmten Testdaten im Rahmen lag. Ändert sich die Nutzergruppe, muss neu gemessen werden. Fairness-Testing ist deshalb eher eine wiederkehrende Kontrolle als eine einmalige Prüfung.