Tokenizer-Traces
Tokenizer-Traces sind verräterische Spuren, die die Zerlegung von Text in kleine Bausteine in einem KI-Modell hinterlässt. Fachleute nutzen sie, um zu erkennen, mit welchen Daten oder mit welchem fremden Modell ein System vermutlich trainiert wurde.
Ein Sprachmodell liest keinen Text so, wie du ihn liest. Bevor es rechnet, wird der Text in kleine Bausteine zerlegt, die man Tokens nennt. Ein Token ist mal ein ganzes Wort, mal nur eine Silbe, mal ein einzelnes Zeichen. Welche Bausteine es überhaupt gibt, wird einmal am Anfang festgelegt und dann nie mehr geändert. Diese feste Liste ist bei jedem Anbieter etwas anders, fast wie ein Fingerabdruck. Tokenizer-Traces sind die Spuren, die genau diese Liste im fertigen Modell und in seinen Antworten hinterlässt.
Was die Spuren über die Herkunft eines Modells verraten
Die Bausteinliste eines Modells entsteht aus den Texten, mit denen sie erstellt wurde. Wer viel deutschen Text verwendet hat, bekommt Bausteine wie « schaft » oder « ungen ». Wer vor allem Programmcode verwendet hat, bekommt Bausteine für Klammern und Befehle. Aus der Liste lässt sich also grob ablesen, woraus ein Modell gebaut wurde.
Das ist mehr als eine Kuriosität. In der Branche gibt es immer wieder Streit darüber, ob ein Anbieter sein Modell heimlich mit den Ausgaben eines Konkurrenten trainiert hat. Solche Vorwürfe lassen sich schwer beweisen. Übereinstimmende oder auffällig ähnliche Bausteinlisten gelten dabei als Indiz, weil zwei unabhängig entstandene Listen praktisch nie gleich aussehen.
Ein Indiz ist aber kein Beweis. Viele Anbieter benutzen dieselben frei verfügbaren Werkzeuge und dieselben öffentlichen Textsammlungen. Ähnlichkeit kann also auch harmlos entstehen. Fachleute kombinieren die Spuren deshalb mit anderen Hinweisen, bevor sie eine Aussage über die Herkunft treffen.
Wie die Bausteinliste entsteht und Spuren hinterlässt
Die Liste wird durch ein statistisches Verfahren gebaut. Man startet mit einzelnen Zeichen und schaut, welche Paare besonders oft nebeneinander stehen. Diese Paare werden zu einem neuen Baustein verschmolzen. Das wiederholt man zehntausende Male, bis die gewünschte Anzahl an Bausteinen erreicht ist.
Dabei entstehen zwangsläufig Zufallsprodukte. Kommt in den Ausgangsdaten ein Spam-Text oder ein Nutzername sehr häufig vor, wird er zu einem eigenen Baustein. Solche seltsamen Einträge fallen später auf und sind besonders gut wiedererkennbar. Sie sind der eigentliche Kern dessen, was man als Trace bezeichnet.
Man kann die Spuren auch von außen sichtbar machen, ohne das Modell zu öffnen. Dazu tippt man ungewöhnliche Zeichenfolgen ein und beobachtet, wo das Modell stolpert. Häufig verhält es sich bei genau den seltsamen Bausteinen unsinnig, weil sie beim Training kaum vorkamen. Ein bekanntes Beispiel war ein Baustein aus einem Internetforum, bei dem ein großes Modell komplett wirre Antworten gab.
Wo dir das Thema in News und im Alltag begegnet
Am häufigsten liest man davon, wenn ein neues Modell erscheint und Fachleute es binnen Stunden auseinandernehmen. Auf Plattformen für offene Modelle wird die Bausteinliste oft mitveröffentlicht. Beobachter vergleichen sie dann mit bekannten Listen und posten ihre Funde. Solche Analysen landen inzwischen regelmäßig in der Wirtschaftspresse, weil viel Geld an solchen Vorwürfen hängt.
Im Alltag merkst du die Zerlegung an anderer Stelle: bei den Kosten. Wer eine KI über eine Programmierschnittstelle nutzt, zahlt pro Token, nicht pro Wort. Deutsche Texte brauchen bei vielen Modellen deutlich mehr Bausteine als englische. Derselbe Inhalt kann auf Deutsch also spürbar teurer sein.
Ein verbreiteter Irrtum ist, Tokenizer-Traces seien ein Wasserzeichen. Ein Wasserzeichen wird absichtlich eingebaut, um Texte später zuzuordnen. Traces entstehen dagegen ungewollt als Nebenprodukt. Genau das macht sie interessant, denn man kann sie nur schwer verbergen.