Cohen's Kappa

Oft müssen Menschen dasselbe Material beurteilen und dabei jeweils eine Kategorie zuordnen. Zwei Ärzte schauen auf 200 Röntgenbilder und schreiben jeweils „auffällig“ oder „unauffällig“ dazu. Danach will man wissen, wie einig sich die beiden waren. Die naheliegende Antwort ist der Anteil der Bilder, bei denen beide dasselbe geschrieben haben. Diese Zahl täuscht aber, denn ein Teil der Einigkeit entsteht rein durch Glück. Cohen’s Kappa ist ein Maß, das diesen Glücksanteil abzieht und nur die echte Einigkeit übrig lässt. Es ist nach dem Psychologen Jacob Cohen benannt, der es 1960 vorgeschlagen hat.

Warum reine Prozentwerte in die Irre führen

Nimm an, 95 Prozent aller Röntgenbilder sind unauffällig. Zwei Beurteiler, die aus Faulheit einfach immer „unauffällig“ schreiben, stimmen dann in 95 Prozent der Fälle überein. Die nackte Prozentzahl sieht hervorragend aus, obwohl niemand hingesehen hat. Genau solche Fälle deckt Cohen’s Kappa auf. Der Wert liegt hier bei null, weil die Übereinstimmung exakt dem entspricht, was Zufall erwarten lässt.

Für KI-Systeme ist das entscheidend. Modelle lernen aus Daten, die Menschen vorher von Hand mit Kategorien versehen haben, dem sogenannten Labeln. Wenn sich die Menschen bei dieser Arbeit nicht einig sind, ist die Aufgabe entweder unklar definiert oder die Anleitung schlecht. Ein Modell kann dann auch nichts Verlässliches lernen. Kappa dient deshalb als Qualitätsprüfung für die Trainingsdaten, noch bevor überhaupt trainiert wird.

Der Wert setzt zusätzlich eine Obergrenze für sinnvolle Erwartungen. Wenn zwei Fachleute nur mäßig übereinstimmen, wird kein Modell die „richtige“ Antwort perfekt treffen. Diese menschliche Einigkeit wird in Forschungsarbeiten oft als Vergleichslinie angegeben. Ein Modell, das an sie herankommt, gilt als praktisch brauchbar.

Die Rechnung hinter dem Zufallsabzug

Kappa braucht zwei Zahlen. Die erste ist die beobachtete Übereinstimmung: der Anteil der Fälle, in denen beide Beurteiler dieselbe Kategorie gewählt haben. Die zweite ist die erwartete Übereinstimmung: der Anteil, den man bei zufälligem Ankreuzen erhalten würde. Diesen Zufallswert schätzt man daraus, wie häufig jeder Beurteiler jede Kategorie insgesamt benutzt hat.

Die Formel vergleicht dann beides. Man nimmt den Überschuss der beobachteten über die erwartete Übereinstimmung und teilt ihn durch den Spielraum, der über dem Zufall noch möglich war. Das Ergebnis ist eine Zahl, die höchstens 1 wird. Eine 1 bedeutet vollständige Einigkeit, eine 0 bedeutet Einigkeit auf Zufallsniveau. Negative Werte sind möglich und heißen, dass die beiden systematisch gegeneinander urteilen.

Für die Einordnung der Zwischenwerte gibt es grobe Faustregeln. Häufig gilt ab etwa 0,6 eine ordentliche und ab 0,8 eine sehr gute Übereinstimmung. Diese Grenzen sind Konvention, keine Naturgesetze. Wichtig ist auch die Abgrenzung zu verwandten Maßen: Cohen’s Kappa gilt für genau zwei Beurteiler. Bei mehr Beurteilern nutzt man Fleiss' Kappa, bei geordneten Kategorien wie Schulnoten das gewichtete Kappa, das kleine Abweichungen milder bestraft als große.

Kappa in Studien und Datensätzen

Am häufigsten begegnet der Wert in medizinischen und psychologischen Studien. Wenn zwei Radiologen dieselben Aufnahmen bewerten oder zwei Fachleute dieselbe Diagnose stellen sollen, steht ein Kappa-Wert in der Auswertung. Auch in der Sprachforschung ist er Standard, etwa wenn Texte nach Stimmung oder Thema einsortiert werden.

In der KI-Welt taucht Kappa in der Dokumentation von Datensätzen auf. Große Sammlungen für Aufgaben wie Hassrede-Erkennung oder Bildbeschreibung geben oft an, wie einig sich die bezahlten Beurteiler waren. Ein niedriger Wert ist ein Warnsignal für alle, die den Datensatz weiterverwenden wollen. Ein typischer Irrtum ist übrigens, Kappa als Genauigkeit eines Modells zu lesen. Es misst Einigkeit zwischen zwei Urteilen, nicht Nähe zur Wahrheit. Zwei Beurteiler können sich einig und trotzdem beide falsch sein.