mechanistische Interpretierbarkeit

Ein KI-Modell ist im Grunde eine sehr große Sammlung von Zahlen und Rechenoperationen. Wenn man das Modell eine Frage stellt, fließt die Frage durch Tausende solcher Operationen, bevor eine Antwort herauskommt. Was genau dabei passiert, ist von außen nicht sichtbar. Mechanistische Interpretierbarkeit ist der Versuch, genau das zu verstehen: nicht nur das Ergebnis zu beobachten, sondern die internen Rechenschritte aufzudecken und zu erklären. Der Begriff setzt sich aus « mechanistisch » — also auf den konkreten Mechanismus bezogen — und « Interpretierbarkeit » zusammen, was bedeutet, dass ein Mensch das Verhalten nachvollziehen kann.

Warum ein Blick ins Innere zählt

Ohne dieses Verständnis ist ein KI-Modell eine Blackbox. Man gibt etwas hinein, man bekommt etwas heraus — aber man weiß nicht, ob das Modell die richtige Antwort aus dem richtigen Grund gibt. Es könnte sich auf Muster stützen, die zufällig in den Trainingsdaten auftauchen, statt auf echtes Schlussfolgern.

Das ist besonders dann ein Problem, wenn Modelle in wichtigen Bereichen eingesetzt werden: Medizin, Recht, Finanzen. Ein Arzt, der die Empfehlung eines KI-Systems nicht nachvollziehen kann, hat keine Möglichkeit zu prüfen, ob er ihr vertrauen soll. Mechanistische Interpretierbarkeit soll dieses Vertrauen auf eine sachliche Grundlage stellen — nicht auf Hoffnung, sondern auf Nachweise.

Außerdem ist sie ein Werkzeug zur Sicherheit. Wenn ein Modell in bestimmten Situationen gefährlich oder falsch reagiert, hilft mechanistische Interpretierbarkeit dabei, die genaue Ursache zu finden — nicht nur das Symptom zu beobachten und zu hoffen, dass es beim nächsten Training verschwindet.

Wie Forscher ins Modell hineinschauen

Moderne KI-Modelle bestehen aus vielen Schichten, den sogenannten Layern. In jeder Schicht werden Zahlen umgerechnet. Forscher analysieren diese Zahlen und versuchen herauszufinden, welche davon für welches Konzept stehen. Ein bestimmter Zahlenwert könnte zum Beispiel immer dann stark ausschlagen, wenn das Modell das Wort « König » verarbeitet — und schwächer bei « Prinz ». So entsteht Schritt für Schritt eine Art Landkarte dessen, was im Modell wo gespeichert ist.

Eine wichtige Technik dabei heißt Aktivierungsanalyse: Man schaut, welche internen Einheiten — sogenannte Neuronen oder Features — bei welchen Eingaben aktiv werden. Ein bekanntes Ergebnis aus der Forschung: In manchen Modellen gibt es einzelne Neuronen, die fast ausschließlich auf bestimmte Themen reagieren, etwa auf Namen von Städten oder auf emotionale Sprache. Das klingt ordentlich, ist aber oft unvollständig — viele Konzepte sind über Hunderte von Einheiten verteilt, nicht sauber in einer einzigen.

Ein weiteres Werkzeug ist das gezielte Eingreifen: Forscher verändern einzelne Zahlen im Modell während einer Berechnung und beobachten, wie sich die Antwort ändert. Wenn das Modell plötzlich eine andere Stadt nennt, nachdem man eine bestimmte interne Zahl ausgetauscht hat, ist das ein starker Hinweis darauf, dass diese Zahl die Information über den Ort trägt. Diese Methode nennt sich Aktivierungs-Patching.

Wo der Begriff heute auftaucht

Mechanistische Interpretierbarkeit ist vor allem in der akademischen KI-Sicherheitsforschung ein zentrales Thema. Organisationen wie Anthropic — das Unternehmen hinter dem Chatbot Claude — haben eigene Forschungsgruppen, die sich ausschließlich damit befassen. Auch das von OpenAI abgespaltene Unternehmen DeepMind sowie unabhängige Forschungsinstitute veröffentlichen regelmäßig Studien dazu.

In der Praxis taucht der Begriff auf, wenn über KI-Regulierung diskutiert wird. Die EU-KI-Verordnung verlangt für bestimmte Hochrisikosysteme eine Erklärbarkeit von Entscheidungen. Mechanistische Interpretierbarkeit ist eine von mehreren Methoden, dieser Anforderung gerecht zu werden — wenngleich sie derzeit noch zu komplex ist, um direkt in Produkten eingesetzt zu werden.

Wichtig ist die Abgrenzung zu einem verwandten Begriff: Erklärbare KI (XAI) beschreibt oft Methoden, die nachträglich eine Begründung liefern, ohne wirklich ins Modell hineinzuschauen — etwa indem man hervorhebt, welche Wörter in einem Text für eine Entscheidung besonders wichtig waren. Mechanistische Interpretierbarkeit geht tiefer: Sie will nicht eine Erklärung konstruieren, sondern den tatsächlichen Rechenprozess aufdecken.