Diskrete Token

Computer können mit Sprache, Bildern oder Musik nicht direkt arbeiten. Sie brauchen dafür Zahlen. Eine Möglichkeit ist, den Inhalt in einzelne Bausteine zu zerschneiden, die aus einer festen, vorher festgelegten Liste stammen. Genau solche Bausteine nennt man diskrete Token. „Diskret“ heißt hier: abzählbar und klar getrennt, es gibt keine Zwischenstufen. Ein Text besteht dann etwa aus Baustein Nummer 4711, gefolgt von Nummer 92 und Nummer 305 – jedes Stück ist entweder ganz da oder gar nicht.

Warum Sprachmodelle in Bausteinen denken

Ein modernes Sprachmodell wie ChatGPT sagt bei jedem Schritt voraus, welcher Baustein als nächstes kommt. Das funktioniert nur, weil die Auswahl endlich ist. Typische Modelle arbeiten mit einer Liste von etwa 50.000 bis 200.000 möglichen Token. Das Modell vergibt für jeden Eintrag dieser Liste eine Wahrscheinlichkeit und wählt daraus aus. Gäbe es unendlich viele Möglichkeiten, ließe sich diese Wahrscheinlichkeitsverteilung gar nicht berechnen.

Der Gegenpol sind kontinuierliche Werte. Die Helligkeit eines Bildpunkts oder die Auslenkung einer Schallwelle lässt sich beliebig fein abstufen. Solche Größen kann man nicht durchnummerieren. Deshalb wandeln Forscher auch Bilder und Töne oft erst in diskrete Token um, bevor ein Sprachmodell sie verarbeitet. So lassen sich Text, Bild und Audio mit derselben Technik behandeln.

Für Nutzer hat das einen sehr praktischen Grund, sich damit zu beschäftigen: Anbieter rechnen ihre Preise pro Token ab. Auch die maximale Länge eines Gesprächs, das sogenannte Kontextfenster, wird in Token gemessen. Wer weiß, was ein Token ist, versteht seine Rechnung und die technischen Grenzen eines Modells.

Vom Satz zur Nummernfolge

Die Zerlegung übernimmt ein Programm, der Tokenizer. Er benutzt ein festes Wörterbuch, das vor dem Training aus riesigen Textmengen erstellt wurde. Häufige Wörter bekommen darin einen eigenen Eintrag. Seltene Wörter werden in mehrere Teile zerlegt. „Haus“ ist meist ein Token, „Donaudampfschifffahrt“ dagegen vielleicht fünf. Auch Leerzeichen und Satzzeichen zählen mit.

Als Faustregel gilt im Deutschen: Ein Token entspricht ungefähr drei bis vier Zeichen. Deutsche Texte brauchen dabei etwas mehr Token als englische, weil die Wörterbücher überwiegend an englischem Material gebaut wurden. Lange Komposita zahlen darauf drauf.

Jeder Eintrag im Wörterbuch hat eine Nummer. Diese Nummer allein sagt aber nichts über Bedeutung aus. Deshalb schlägt das Modell zu jeder Nummer einen langen Zahlenvektor nach, das sogenannte Embedding. Erst dieser Vektor trägt die Bedeutung. Man kann sich das Wörterbuch wie einen Setzkasten mit Bleilettern vorstellen: Es gibt eine feste Anzahl Fächer, aus denen jeder beliebige Text gesetzt wird.

Sichtbare Folgen im Alltag mit Chatbots

Ein bekanntes Beispiel: Sprachmodelle scheitern manchmal an der Frage, wie viele „r“ im Wort „Strawberry“ stecken. Der Grund liegt in der Zerlegung. Das Modell sieht nicht einzelne Buchstaben, sondern zwei oder drei Wortstücke. Buchstaben zu zählen ist dann so, als solle jemand die Fasern in einem Blatt Papier zählen, ohne es unter die Lupe zu legen.

In den Nachrichten tauchen Token vor allem in Preistabellen und Leistungsangaben auf. Meldungen wie „eine Million Token Kontext“ oder „0,50 Dollar pro Million Token“ beziehen sich immer auf diese Bausteine. Eine Million Token entspricht grob einem Stapel von mehreren tausend Buchseiten.

Auch außerhalb von Text ist das Prinzip inzwischen üblich. Bildgeneratoren und Musikmodelle zerlegen ihre Daten in diskrete Token, oft mit einem Verfahren namens Vektorquantisierung. Ein häufiger Irrtum ist übrigens, Token mit Wörtern gleichzusetzen. Die Grenzen verlaufen anders, und schon ein zusätzliches Leerzeichen kann die Zerlegung verändern.