Tokenizer-Fingerprinting

Ein Sprachmodell kann mit Buchstaben allein nichts anfangen. Es zerlegt jeden Text vorher in kleine Bausteine, sogenannte Token. Ein Token ist meist ein Wortteil, etwa „Fahr“ und „rad“ statt „Fahrrad“. Welche Bausteine es gibt, wird einmal festgelegt und ändert sich danach nicht mehr. Diese Liste ist bei jedem Anbieter etwas anders. Tokenizer-Fingerprinting nutzt genau das: Man schaut sich die Zerlegung an und erkennt daran, welches Modell oder welche Modellfamilie dahintersteckt.

Was der Fingerabdruck über die Herkunft eines Modells verrät

Viele KI-Modelle werden heute als fertige Dateien veröffentlicht. Andere sind nur über eine Schnittstelle im Netz erreichbar, ohne dass jemand hineinschauen darf. In beiden Fällen ist oft unklar, worauf ein Modell wirklich aufbaut. Firmen behaupten gern, sie hätten von Grund auf neu entwickelt. Der Fingerabdruck der Bausteinliste kann diese Behauptung stützen oder erschüttern.

Der Grund ist einfach: Die Bausteinliste zu ändern ist extrem aufwendig. Wer ein bestehendes Modell übernimmt und nur nachtrainiert, behält sie fast immer bei. Sie überlebt also Umbauten, die sonst viele Spuren verwischen. Damit ist sie eines der stabilsten Erkennungsmerkmale überhaupt.

Das hat handfeste Folgen. Bei Lizenzstreitigkeiten geht es um die Frage, ob ein Anbieter fremde Arbeit als eigene ausgibt. Bei Sicherheitsprüfungen will man wissen, ob eine gekaufte KI heimlich auf einem Modell aus einem anderen Land basiert. Auch Journalisten und Forscher greifen zu diesem Mittel, wenn ein Start-up große Versprechen macht.

Wie man die Zerlegung sichtbar macht

Am einfachsten ist es bei offen verfügbaren Modellen. Dort liegt die Bausteinliste als Datei bei und lässt sich direkt vergleichen. Zwei Modelle mit identischer Liste teilen mit hoher Wahrscheinlichkeit einen gemeinsamen Ursprung. Schon die Reihenfolge der Einträge ist aussagekräftig, denn sie entsteht beim Aufbau der Liste und ist praktisch nie zufällig gleich.

Schwieriger wird es, wenn man das Modell nur über eine Schnittstelle ansprechen kann. Dann arbeitet man mit Testeingaben. Man schickt seltene Zeichenfolgen hin, etwa Emojis, chinesische Schriftzeichen oder erfundene Wörter. Anschließend beobachtet man, wie viele Token abgerechnet werden oder wie das Modell reagiert. Aus diesen Reaktionen lässt sich die Zerlegung Stück für Stück rekonstruieren.

Ein verwandter, aber anderer Ansatz ist das Wasserzeichen. Dabei baut ein Anbieter absichtlich ein Erkennungsmerkmal ein. Beim Fingerprinting dagegen nutzt man Spuren, die ohnehin entstehen. Niemand muss vorher etwas vorbereiten. Ein typischer Irrtum ist, den Fingerabdruck für einen Beweis zu halten. Er ist ein starkes Indiz, mehr nicht, denn zwei Teams können dieselbe frei verfügbare Bausteinliste unabhängig voneinander verwenden.

Wo das Thema in den Nachrichten auftaucht

Immer wenn ein neues Modell überraschend gut ist, beginnt in Fachforen dieselbe Prüfung. Innerhalb weniger Stunden vergleichen Entwickler die Bausteinlisten mit bekannten Modellen. Mehrfach kam dabei heraus, dass angebliche Eigenentwicklungen auf offenen Modellen von Meta, Alibaba oder Mistral beruhten. Solche Funde landen dann in der Tech-Presse und kosten Firmen Vertrauen und manchmal Kunden.

Auch bei Preisfragen spielt die Zerlegung eine Rolle. Anbieter rechnen pro Token ab, nicht pro Wort. Deutsche Texte mit langen zusammengesetzten Wörtern zerfallen in mehr Bausteine als englische. Derselbe Text kostet deshalb bei verschiedenen Anbietern unterschiedlich viel. Wer solche Kosten vergleicht, arbeitet unbewusst schon mit dem Fingerabdruck.

Für Unternehmen wird das Verfahren zunehmend Teil der Einkaufsprüfung. Vor dem Kauf einer KI-Lösung will man belegt haben, was darin steckt. Regulierung wie der europäische AI Act verlangt Angaben zur Herkunft eines Modells. Tokenizer-Fingerprinting ist eine der wenigen Methoden, mit denen sich solche Angaben von außen gegenprüfen lassen.