Interpretierbarkeit

Moderne Computerprogramme, die aus Beispielen lernen statt festen Regeln zu folgen, liefern oft erstaunlich gute Ergebnisse. Nur kann niemand einfach nachlesen, wie sie dabei vorgehen. Sie bestehen aus Millionen oder Milliarden von Zahlen, die während des Lernens automatisch eingestellt wurden. Diese Zahlen ergeben zusammen ein Verhalten, das keine Person je aufgeschrieben hat. Interpretierbarkeit ist der Fachbegriff für die Frage, ob man dieses Verhalten trotzdem verstehen und erklären kann. Manchmal spricht man auch von Erklärbarkeit oder von erklärbarer KI.

Wenn eine Antwort stimmt, aber aus dem falschen Grund

Ein System kann richtig liegen und trotzdem völlig danebenliegen. Ein bekanntes Beispiel: Eine Bilderkennung sollte Wölfe von Huskys unterscheiden und schaffte das fast fehlerfrei. Später stellte sich heraus, dass sie gar nicht auf die Tiere achtete. Sie hatte gelernt, dass auf Wolfsbildern meistens Schnee liegt. Ohne einen Blick ins Innere wäre dieser Fehler nie aufgefallen.

Solche Abkürzungen sind gefährlich, sobald echte Entscheidungen davon abhängen. Banken nutzen lernende Systeme für Kreditentscheidungen, Kliniken für die Auswertung von Röntgenbildern, Behörden für die Vorsortierung von Anträgen. Wer abgelehnt wird, hat ein berechtigtes Interesse an einer Begründung. Die europäische KI-Verordnung schreibt für solche Anwendungen mit hohem Risiko deshalb vor, dass Entscheidungen nachvollziehbar sein müssen.

Dazu kommt ein Sicherheitsaspekt. Je mehr Aufgaben man Sprachmodellen überträgt, desto wichtiger wird die Frage, ob sie wirklich das anstreben, was man ihnen aufgetragen hat. Ein Modell könnte im Test brav wirken und sich im Einsatz anders verhalten. Am Verhalten allein lässt sich das kaum unterscheiden. Nur ein Blick auf die inneren Abläufe könnte den Unterschied zeigen.

Werkzeuge, um in ein Modell hineinzuschauen

Der einfachste Ansatz misst, welche Teile der Eingabe das Ergebnis am stärksten beeinflussen. Man verändert versuchsweise einzelne Wörter oder Bildbereiche und beobachtet, wie sich die Antwort verschiebt. Daraus entsteht eine Art Wärmebild der wichtigen Stellen. Das zeigt, worauf das Modell geachtet hat, aber nicht, warum diese Stelle für es zählt.

Ein zweiter Weg baut absichtlich einfache Modelle. Ein Entscheidungsbaum stellt eine Kette von Ja-Nein-Fragen und ist von oben bis unten lesbar. Solche Verfahren sind von sich aus interpretierbar, aber bei komplexen Aufgaben deutlich schwächer. Hier liegt der klassische Zielkonflikt: mehr Leistung bedeutet meist weniger Durchblick. Ganz starr ist dieser Zusammenhang allerdings nicht.

Am ehrgeizigsten ist die mechanistische Interpretierbarkeit. Sie versucht, einzelne Rechenschritte im Inneren eines Sprachmodells zu entziffern, so wie Biologen einzelne Nervenzellen untersuchen. Forschungsteams haben so Bausteine gefunden, die auf bestimmte Begriffe reagieren, etwa auf die Golden Gate Bridge oder auf Programmierfehler. Verstärkt man einen solchen Baustein künstlich, verändert sich das Verhalten des Modells sichtbar. Das ist beeindruckend, deckt aber bisher nur einen winzigen Teil eines großen Modells ab.

Von Chatbot-Begründungen bis zur Aufsichtsbehörde

Im Alltag begegnet dir das Thema oft ohne den Fachbegriff. Wenn ein Chatbot seine Antwort mit Quellenlinks belegt, ist das ein Stück Nachvollziehbarkeit. Wenn eine Streaming-App schreibt, warum sie dir einen Film vorschlägt, ebenfalls. Wichtig ist eine Unterscheidung: Erklärt ein Sprachmodell seinen eigenen Gedankengang in Worten, ist das keine echte Interpretierbarkeit. Diese Erklärung wird genauso erzeugt wie jeder andere Text und muss nicht dem entsprechen, was intern wirklich passiert ist.

In den Nachrichten taucht Interpretierbarkeit vor allem in zwei Zusammenhängen auf. Zum einen bei Regulierung, etwa wenn Aufsichtsbehörden Prüfungen von Kredit- oder Bewerbungssoftware fordern. Zum anderen bei KI-Sicherheitsforschung, wo Labore wie Anthropic, OpenAI und Google DeepMind eigene Teams dafür unterhalten. Für Unternehmen ist das inzwischen auch ein Kostenfaktor, weil Dokumentation und Prüfbarkeit Aufwand bedeuten.