Interpretability
Interpretability bezeichnet die Bemühung, nachvollziehbar zu machen, warum ein KI-System zu einer bestimmten Ausgabe kommt. Sie soll aus einer undurchsichtigen Rechenmaschine ein System machen, dessen Entscheidungen man prüfen, erklären und korrigieren kann.
Moderne KI-Programme lernen nicht aus Regeln, die Menschen aufgeschrieben haben. Sie stellen sich beim Lernen selbst Milliarden von Zahlen ein, bis sie bei vielen Beispielen richtig liegen. Diese Zahlen kann man auslesen, aber niemand versteht sie einfach durch Hinsehen. Das System liefert also eine Antwort, ohne dass klar wäre, warum genau diese Antwort. Interpretability ist der Forschungszweig, der genau das ändern will: Er sucht nach Wegen, die inneren Abläufe eines solchen Systems zu beschreiben. Das Ziel ist eine Erklärung, die ein Mensch prüfen und im Zweifel widerlegen kann.
Wenn niemand sagen kann, warum Nein
Ein undurchschaubares System ist überall dort ein Problem, wo Entscheidungen Folgen haben. Eine Bank nutzt ein Modell zur Bewertung von Kreditanträgen. Der Antrag wird abgelehnt. Der Kunde fragt nach dem Grund, und die Bank kann ihn nicht nennen. In der EU ist das nicht nur unangenehm, sondern rechtlich heikel. Der AI Act verlangt für Systeme in sensiblen Bereichen, dass Entscheidungen nachvollziehbar dokumentiert sind.
Der zweite Grund ist Sicherheit. Ein Modell kann aus den Trainingsdaten Muster übernehmen, die niemand beabsichtigt hat. Ein bekanntes Beispiel aus der Bilderkennung: Ein Programm sollte Wölfe von Huskys unterscheiden und schien sehr treffsicher. Eine Analyse zeigte, dass es in Wahrheit auf Schnee im Hintergrund achtete. Auf dem Testdatensatz funktionierte das prima. In der Wirklichkeit wäre es sofort zusammengebrochen.
Dazu kommt ein dritter Punkt, der besonders große Sprachmodelle betrifft. Ein Modell kann in Tests unauffällig wirken und trotzdem im Ernstfall anders reagieren. Wer nur die Ausgaben prüft, sieht das nicht. Wer in das System hineinschauen kann, hat eine Chance, solche Neigungen vorher zu entdecken.
Von Merkmalsgewichten bis zum Blick in die Schaltkreise
Die einfachste Form ist die Frage: Welche Eingabe hat das Ergebnis am stärksten beeinflusst? Verfahren wie SHAP oder LIME beantworten das, indem sie einzelne Angaben verändern und beobachten, wie sich die Antwort verschiebt. Bei Bildern entsteht so eine Wärmekarte, die zeigt, welche Bildbereiche ausschlaggebend waren. Das ist nützlich, bleibt aber eine Beschreibung von außen. Es sagt, worauf das Modell reagiert, nicht wie es intern rechnet.
Die aufwendigere Richtung heißt mechanistische Interpretierbarkeit. Forscher versuchen dabei, einzelne Bausteine im Inneren des Modells wie Bauteile einer Schaltung zu verstehen. Ein bekanntes Ergebnis sind sogenannte Induktionsköpfe: Bausteine, die erkennen, wenn sich ein Muster im Text wiederholt, und es fortsetzen. Man kann sie gezielt abschalten und beobachten, welche Fähigkeit dabei verloren geht. Das ist der Unterschied zwischen einer Vermutung und einem Nachweis.
Ein zentrales Hindernis dabei ist die sogenannte Überlagerung. Ein einzelner Baustein steht meist nicht für einen einzigen Begriff, sondern beteiligt sich an vielen gleichzeitig. Es gibt schlicht mehr Konzepte als Bausteine. Neuere Verfahren versuchen deshalb, diese vermischten Signale rechnerisch wieder in einzelne, benennbare Merkmale zu zerlegen. Anthropic hat auf diese Weise in einem Sprachmodell Millionen solcher Merkmale sichtbar gemacht, darunter Merkmale für Programmcodefehler oder für bestimmte Städte.
Wo Erklärbarkeit eingefordert wird
In der Medizin ist Interpretability längst Voraussetzung für den Einsatz. Ein System, das auf Röntgenbildern Auffälligkeiten markiert, muss zeigen, welche Bildstelle es meint. Nur dann kann ein Arzt den Hinweis überhaupt bewerten. Ähnlich läuft es in der Kreditvergabe, bei Versicherungen und in Bewerbungsverfahren.
In Tech-Nachrichten begegnet der Begriff meist im Zusammenhang mit KI-Sicherheit. Wenn Labore wie Anthropic, OpenAI oder Google DeepMind über Fortschritte berichten, geht es oft darum, unerwünschtes Verhalten im Inneren aufzuspüren. Ein verbreiteter Irrtum ist dabei, dass ein Chatbot sich selbst erklären könne. Fragt man ihn nach seiner Begründung, erzeugt er eine plausibel klingende Antwort. Ob diese mit der tatsächlichen internen Rechnung zu tun hat, ist damit nicht gesagt.
Man sollte den Anspruch außerdem nicht überschätzen. Vollständige Interpretierbarkeit großer Modelle gibt es bislang nicht. Was es gibt, sind Teilerklärungen für einzelne Fähigkeiten und Werkzeuge, um gezielt nach bekannten Problemen zu suchen. Das ist deutlich mehr als vor fünf Jahren, aber weit entfernt von einem Bauplan, den man einfach lesen könnte.