Token

Computer rechnen mit Zahlen, nicht mit Buchstaben. Damit ein Programm wie ChatGPT einen Satz verarbeiten kann, muss der Text also erst zerlegt und in Zahlen umgewandelt werden. Die Stücke, in die der Text zerlegt wird, heißen Token. Ein Token ist oft ein ganzes kurzes Wort, manchmal aber nur eine Silbe, ein Wortteil, ein Leerzeichen oder ein Satzzeichen. Das Wort "Haus" ist typischerweise ein Token, "Unwahrscheinlichkeit" wird dagegen in mehrere zerschnitten. Als Faustregel gilt für deutsche Texte: Ein Token entspricht etwa zwei Drittel eines Wortes.

Token als Währung und als Obergrenze

Token sind die Maßeinheit, in der die KI-Branche rechnet. Wer ein Sprachmodell über eine Programmierschnittstelle nutzt, zahlt nicht pro Frage, sondern pro Token. Bezahlt wird beides: der Text, den man hineingibt, und der Text, den das Modell ausgibt. Preise werden meist pro Million Token angegeben und liegen je nach Modell zwischen wenigen Cent und mehreren Euro.

Zweitens begrenzen Token, wie viel ein Modell auf einmal überblicken kann. Diese Obergrenze heißt Kontextfenster. Ist sie erreicht, fällt der Anfang des Gesprächs weg oder das Modell verweigert die Eingabe. Aktuelle Modelle schaffen einige hunderttausend Token, das sind mehrere hundert Buchseiten. Vor wenigen Jahren waren es nur ein paar tausend.

Für die Praxis heißt das: Wer ein langes Dokument analysieren lässt, sollte grob abschätzen können, wie viele Token darin stecken. Ein Roman mit 100.000 Wörtern hat rund 150.000 Token. Das entscheidet darüber, ob eine Anfrage überhaupt möglich ist und was sie kostet.

Wie ein Text in Stücke zerschnitten wird

Zuständig für die Zerlegung ist ein eigenes kleines Programm, der Tokenizer. Er arbeitet mit einer festen Liste von etwa 50.000 bis 200.000 bekannten Textstücken. Diese Liste entsteht vorher automatisch aus riesigen Textmengen. Häufige Zeichenfolgen bekommen einen eigenen Platz auf der Liste, seltene werden aus kleineren Teilen zusammengesetzt. Deshalb ist "der" ein einzelnes Stück, ein Fantasiename dagegen ein Dutzend.

Jedes Stück auf der Liste hat eine Nummer. Aus dem Satz wird also eine Zahlenreihe, und mit dieser Zahlenreihe rechnet das Modell weiter. Beim Antworten läuft es umgekehrt: Das Modell sagt Token für Token voraus, welches Stück als nächstes kommt. Dass Antworten Wort für Wort auf dem Bildschirm erscheinen, ist genau dieser Vorgang, live sichtbar.

Ein häufiger Irrtum ist, Token seien dasselbe wie Wörter. Der Unterschied hat echte Folgen. Weil die Listen überwiegend an englischen Texten gebildet wurden, braucht derselbe Inhalt auf Deutsch mehr Token als auf Englisch – und kostet damit mehr. Und weil das Modell Wörter nicht als Buchstabenfolgen sieht, tut es sich schwer mit Aufgaben wie "Zähle die R in Erdbeere".

Wo die Zahl im Alltag auftaucht

In Produktankündigungen ist die Tokenzahl inzwischen ein Werbeargument. Wenn ein Anbieter mit einem Kontextfenster von einer Million Token wirbt, meint er: Man kann ein ganzes Buch oder eine große Codesammlung in einer Anfrage übergeben. In Preistabellen von OpenAI, Google oder Anthropic stehen die Kosten grundsätzlich pro Million Token, meist getrennt für Eingabe und Ausgabe.

Auch in Quartalszahlen und Börsennews spielen Token eine Rolle. Große Anbieter nennen inzwischen, wie viele Billionen Token sie pro Monat verarbeiten. Diese Zahl ist ein Maß für die tatsächliche Nutzung – ähnlich wie Streaming-Stunden bei einem Musikdienst. Analysten lesen daraus ab, ob das Geschäft wächst und wie viel Rechenleistung dafür nötig ist.

Und schließlich begegnet der Begriff jedem, der selbst etwas baut. Wer eine KI in eine App einbaut, sieht in seiner Abrechnung Tokenzahlen statt Anfragezahlen. Wer mit langen Prompts arbeitet, stößt irgendwann an das Token-Limit. Achtung: Der Begriff Token bedeutet in der IT-Sicherheit etwas völlig anderes, nämlich einen digitalen Zugangsschlüssel. Gemeint ist dann nicht ein Textstück, sondern eine Art Passwort.