Fairness Collapse

Programme, die aus Beispielen lernen, treffen heute viele Entscheidungen mit. Sie sortieren Bewerbungen vor, schätzen Kreditrisiken oder erkennen Gesichter auf Fotos. Solche Systeme werden meist an einem einzigen Durchschnittswert gemessen: Wie oft liegen sie richtig? Von Fairness Collapse spricht man, wenn dieser Durchschnitt gut aussieht, das System für eine bestimmte Gruppe von Menschen aber fast nutzlos wird. Ein Programm kann also insgesamt zu 95 Prozent richtig liegen und trotzdem bei jeder zweiten Frau über sechzig danebengreifen. Der Begriff betont das Wort Kollaps, weil die Qualität für diese Gruppe nicht leicht sinkt, sondern regelrecht einbricht.

Wenn der Durchschnitt eine Minderheit versteckt

Ein Durchschnittswert ist ein schlechter Wächter. Wenn eine Gruppe nur drei Prozent aller Fälle ausmacht, verändert ihr komplettes Scheitern die Gesamtquote kaum. Das Problem bleibt in den Zahlen unsichtbar, obwohl es für die Betroffenen alles ist. Genau deshalb fallen solche Fehler oft erst nach dem Start eines Produkts auf.

Die Folgen treffen dabei meist Menschen, die ohnehin selten vorkommen: seltene Krankheitsbilder, kleine Sprachgruppen, ungewöhnliche Lebensläufe. Ein bekanntes Beispiel sind frühe Gesichtserkennungssysteme. Bei hellhäutigen Männern lagen sie fast immer richtig, bei dunkelhäutigen Frauen irrten sie in bis zu einem Drittel der Fälle. Solche Unterschiede sind nicht nur unangenehm, sie können vor Gericht oder bei einer Bewerbung über ein Leben entscheiden.

Für Unternehmen ist das zusätzlich ein rechtliches Risiko. Die europäische KI-Verordnung verlangt für Systeme in heiklen Bereichen wie Personalauswahl oder Kreditvergabe eine Prüfung auf verzerrte Ergebnisse. Ein Fairness Collapse, den niemand gemessen hat, kann deshalb zu Bußgeldern und Rückrufen führen.

Woher der Einbruch kommt

Die häufigste Ursache liegt in den Trainingsdaten. Ein lernendes Programm sucht Muster in Beispielen, die man ihm zeigt. Kommt eine Gruppe in diesen Beispielen kaum vor, lernt das System für sie schlicht wenig. Es rät dann nicht zufällig, sondern überträgt die Muster der Mehrheit auf Fälle, zu denen sie nicht passen.

Verstärkt wird das durch die Art, wie beim Training optimiert wird. Das System wird darauf getrimmt, den Gesamtfehler möglichst klein zu halten. Eine kleine Gruppe zu vernachlässigen ist dabei mathematisch der bequemste Weg. Man kann sich das wie eine Klassenarbeit vorstellen, bei der nur die Gesamtpunktzahl zählt: Wer die zwei schweren Aufgaben am Ende auslässt, steht in der Note trotzdem gut da.

Sichtbar machen lässt sich der Effekt nur durch getrennte Messung. Man zerlegt die Testdaten in Untergruppen und schaut sich die Trefferquote für jede einzeln an. Gegenmittel sind zusätzliche Daten für unterrepräsentierte Gruppen, ein stärkeres Gewicht dieser Fälle beim Training oder unterschiedliche Entscheidungsschwellen. Ein Restproblem bleibt: Verschiedene Fairness-Definitionen widersprechen sich teilweise, man kann also nicht alle gleichzeitig erfüllen.

Vom Sprachmodell bis zum Behördenskandal

In Produkten begegnet einem der Effekt oft leise. Spracherkennung versteht Dialekte schlechter als Hochdeutsch. Übersetzungsprogramme arbeiten bei Sprachen mit wenigen Textquellen deutlich ungenauer. Chatbots antworten auf Englisch souverän und auf seltener genutzten Sprachen ungenau oder falsch.

In den Nachrichten taucht das Thema meist als Skandal auf. In den Niederlanden stufte ein Behördensystem jahrelang Familien mit doppelter Staatsbürgerschaft fälschlich als Betrüger bei Kindergeldanträgen ein. Tausende Haushalte gerieten in finanzielle Not, die Regierung trat 2021 zurück. Der Begriff Fairness Collapse fiel dort nicht, das Muster war aber genau dieses.

Wichtig ist die Abgrenzung zu einem allgemein schwachen Modell. Ein schlechtes System versagt bei allen, ein Fairness Collapse trifft gezielt eine Gruppe. Ein verbreiteter Irrtum ist außerdem, dass mehr Daten das Problem automatisch lösen. Wenn die neuen Daten dieselbe Schieflage haben, wächst der Datenberg, der Einbruch bleibt.