Jacobian Lens

Ein KI-System nimmt eine Eingabe entgegen und liefert eine Ausgabe. Bei einem Bildprogramm ist die Eingabe ein Foto, die Ausgabe vielleicht das Wort « Katze ». Von außen sieht man nur diese beiden Enden, nicht den Weg dazwischen. Die Jacobian Lens ist ein Werkzeug, mit dem Forscher diesen Weg indirekt vermessen. Sie verändert die Eingabe winzig und beobachtet, wie stark sich die Ausgabe dadurch verschiebt. Aus vielen solchen Messungen entsteht eine Art Empfindlichkeitskarte des Systems.

Was die Empfindlichkeitskarte über ein Modell verrät

Moderne KI-Modelle bestehen aus Milliarden von Zahlenwerten. Niemand kann diese Werte einzeln lesen und daraus verstehen, warum das Modell so und nicht anders antwortet. Man nennt das oft das Blackbox-Problem: Man sieht das Ergebnis, aber nicht die Begründung. Verfahren wie die Jacobian Lens sind ein Versuch, diese Box wenigstens teilweise zu öffnen.

Der praktische Nutzen liegt vor allem bei Fehlern. Ein medizinisches Bildmodell erkennt zuverlässig Tumore — aber vielleicht reagiert es in Wahrheit auf das Klinik-Logo in der Bildecke. Eine Empfindlichkeitsmessung würde das aufdecken, weil die Ausgabe sich stark ändert, sobald man diese Bildecke antastet. Solche Scheinzusammenhänge sind einer der häufigsten Gründe, warum KI-Systeme im Labor gut und im Alltag schlecht funktionieren.

Ein zweiter Grund ist Sicherheit. Wenn eine minimale Änderung an der Eingabe die Ausgabe komplett kippt, ist das System angreifbar. Genau dieses Prinzip nutzen sogenannte adversariale Angriffe: Sie fügen ein für Menschen unsichtbares Rauschen hinzu und bringen das Modell zu einem völlig falschen Ergebnis. Wer die empfindlichsten Stellen kennt, kann sie gezielt absichern.

Kleine Störungen, gemessene Reaktion

Der Name kommt aus der Mathematik. Die Jacobi-Matrix ist eine Tabelle, die für jede Eingabegröße festhält, wie stark sie jede Ausgabegröße beeinflusst. « Lens » heißt Linse und meint hier: eine Perspektive, durch die man auf das Modell schaut. Zusammen also eine Betrachtung des Systems durch die Brille seiner Empfindlichkeiten.

Praktisch läuft das so ab: Man nimmt eine Eingabe, ändert einen winzigen Teil davon und lässt das Modell erneut rechnen. Die Differenz der beiden Ausgaben ist der Messwert. Wiederholt man das für alle Teile der Eingabe, ergibt sich ein vollständiges Bild. Bei einem Bild bekommt jeder Bildpunkt einen Wert dafür, wie wichtig er für die Entscheidung war. Diese Werte lassen sich als farbige Überlagerung über das Originalbild legen.

Ein häufiger Irrtum ist, das Ergebnis als Erklärung zu lesen. Die Messung zeigt nur, worauf das Modell reagiert, nicht warum. Sie liefert Hinweise, keine Beweise. Außerdem gilt sie streng genommen nur für sehr kleine Änderungen rund um genau diese eine Eingabe. Bei einem anderen Foto kann die Karte völlig anders aussehen.

Vom Forschungspapier ins Produkt

Begegnen wird man dem Begriff vor allem in Fachartikeln zur Interpretierbarkeit von KI, also zu der Frage, wie man Modelle nachvollziehbar macht. In Nachrichtenmeldungen taucht er selten wörtlich auf. Dort steht dann eher, ein Team habe « analysiert, worauf ein Modell achtet » — dahinter steckt oft genau diese Art von Messung.

Im Alltag begegnet man den Ergebnissen indirekt. Manche Diagnose-Software für Ärzte markiert farbig, welche Bildbereiche zur Einschätzung geführt haben. Prüfstellen und Aufsichtsbehörden verlangen zunehmend solche Nachweise, bevor ein KI-System in sensiblen Bereichen eingesetzt werden darf. Auch der europäische AI Act geht in diese Richtung.

Wichtig ist die Abgrenzung zu verwandten Verfahren. Die Jacobian Lens misst am fertigen Modell von außen. Die bekanntere Logit Lens dagegen schaut in die Zwischenschichten eines Sprachmodells hinein und liest ab, welches Wort dort schon vorläufig favorisiert wird. Beide gehören zur selben Werkzeugkiste, setzen aber an unterschiedlichen Stellen an.