SHAP

Viele Programme treffen heute Vorhersagen, ohne dass ein Mensch sie Schritt für Schritt nachvollziehen kann. Eine Bank rechnet zum Beispiel aus, wie wahrscheinlich jemand einen Kredit zurückzahlt. Heraus kommt eine Zahl, aber keine Begründung. SHAP liefert diese Begründung nachträglich. Es zerlegt das Ergebnis in Beiträge der einzelnen Angaben, also etwa Einkommen, Alter und bisherige Zahlungshistorie. Am Ende steht ein Satz wie: Das hohe Einkommen hat die Bewertung angehoben, die kurze Kontohistorie hat sie gesenkt.

Wenn eine Zahl allein nicht reicht

Vorhersagemodelle werden inzwischen an Stellen eingesetzt, an denen viel auf dem Spiel steht. Es geht um Kredite, Versicherungsprämien, Bewerbungen oder medizinische Befunde. Betroffene haben ein berechtigtes Interesse daran zu erfahren, warum eine Entscheidung so ausgefallen ist. Eine Zahl ohne Begründung ist dafür wertlos.

Auch rechtlich wächst der Druck. Die europäische Datenschutz-Grundverordnung verlangt bei automatisierten Entscheidungen aussagekräftige Informationen über die zugrunde liegende Logik. Der KI-Gesetzgebung der EU folgend müssen Systeme in sensiblen Bereichen nachvollziehbar dokumentiert sein. Verfahren wie SHAP sind ein gängiges Werkzeug, um solche Anforderungen praktisch zu erfüllen.

Für die Entwickler selbst ist SHAP oft noch nützlicher. Es deckt auf, wenn ein Modell aus den falschen Gründen richtig liegt. Ein bekanntes Muster: Ein System zur Erkennung kranker Patienten stützt sich stark auf die Kennung des Krankenhauses. Es hat gelernt, dass in einer bestimmten Klinik mehr schwere Fälle liegen, und nicht, wie Krankheit aussieht. Solche Abkürzungen fallen erst auf, wenn man in das Modell hineinschaut.

Der faire Anteil am Ergebnis

Die Idee hinter SHAP stammt aus der Spieltheorie, einem Teilgebiet der Mathematik. Dort gibt es eine klassische Frage: Mehrere Personen erarbeiten gemeinsam einen Gewinn, wie teilt man ihn gerecht auf? Der Mathematiker Lloyd Shapley hat dafür in den 1950er Jahren eine Lösung gefunden. Man betrachtet alle möglichen Reihenfolgen, in denen die Beteiligten zur Gruppe stoßen. Für jede Reihenfolge misst man, wie viel der Neuzugang zusätzlich einbringt, und mittelt diese Beiträge.

SHAP überträgt das auf Vorhersagen. Die Beteiligten sind nicht Personen, sondern die einzelnen Eingabewerte, im Fachjargon Merkmale genannt. Der zu verteilende Gewinn ist der Abstand zwischen dem Durchschnittsergebnis aller Fälle und dem Ergebnis für diesen konkreten Fall. Jedes Merkmal bekommt einen Wert, der angibt, wie stark es das Ergebnis nach oben oder unten gezogen hat. Diese Werte summieren sich exakt zur Differenz auf, es geht nichts verloren.

Vollständig durchrechnen lässt sich das nur bei wenigen Merkmalen, denn die Zahl der Reihenfolgen wächst explosionsartig. Bei zwanzig Merkmalen wären es bereits mehr als zwei Billiarden Kombinationen. Deshalb arbeitet SHAP in der Praxis mit Näherungen. Für Entscheidungsbäume gibt es ein schnelles exaktes Verfahren namens TreeSHAP, für andere Modelle wird stichprobenartig geschätzt.

Wo SHAP-Diagramme auftauchen

Am häufigsten begegnet man SHAP in der Datenanalyse von Unternehmen. Banken, Versicherer und Onlinehändler nutzen es, um ihre Risikomodelle zu prüfen und gegenüber Aufsichtsbehörden zu erklären. Typisch ist ein Balkendiagramm pro Einzelfall: rote Balken nach rechts für Merkmale, die das Ergebnis erhöhen, blaue nach links für die Gegenrichtung. Solche Grafiken tauchen auch in Modellberichten und in der Berichterstattung über KI-Regulierung auf.

SHAP ist frei verfügbare Software und lässt sich mit wenigen Zeilen Programmcode an gängige Modelle anschließen. Das erklärt die weite Verbreitung. In Stellenanzeigen für Datenanalyse steht der Begriff regelmäßig neben Werkzeugen wie LIME, das ein ähnliches Ziel mit einem anderen Rechenweg verfolgt.

Ein verbreiteter Irrtum ist, SHAP zeige Ursachen. Das tut es nicht. Es zeigt, worauf sich das Modell stützt, nicht, was in der Wirklichkeit tatsächlich wirkt. Wenn ein Modell einen Zusammenhang falsch gelernt hat, erklärt SHAP diesen Fehler sauber und überzeugend mit. Bei sehr großen Sprachmodellen stößt das Verfahren zudem an Grenzen, weil dort Millionen von Eingabebausteinen zusammenwirken.