
Tokenisierung
Tokenisierung ist der Schritt, bei dem ein Text vor der Verarbeitung durch ein KI-Sprachmodell in kleine Einheiten – sogenannte Tokens – zerlegt wird. Diese Einheiten können ganze Wörter, Silben oder einzelne Zeichen sein und sind die eigentliche Grundlage, mit der ein Sprachmodell rechnet.
Bevor ein KI-Sprachmodell einen Text versteht, muss dieser Text in handhabbare Stücke zerlegt werden. Diese Stücke heißen Tokens. Ein Token ist meistens ein kurzes Wort, eine Silbe oder ein häufiges Wortfragment — zum Beispiel wird „playing“ oft in „play“ und „ing“ geteilt. Das Modell sieht nie Buchstaben oder ganze Sätze auf einmal, sondern immer diese Tokens. Tokenisierung ist also die Vorstufe, ohne die kein Sprachmodell arbeiten kann.
Warum Tokens und nicht einfach Wörter
Die naheliegende Idee wäre, jeden Text einfach in Wörter zu schneiden. Das funktioniert in der Praxis schlecht. Sprachen sind unregelmäßig: Groß- und Kleinschreibung, Bindestriche, Tippfehler und Fremdwörter erzeugen tausende Varianten desselben Begriffs. Ein Modell, das für jede Variante einen eigenen Eintrag bräuchte, würde riesig und langsam.
Tokenisierung löst das mit einem Kompromiss. Häufige Wörter wie „und“ oder „the“ bekommen einen eigenen Token. Seltene oder lange Wörter werden in kleinere, häufige Bestandteile zerlegt. So bleibt die Gesamtzahl der Tokens überschaubar — typische Modelle arbeiten mit einem Wortschatz von 30.000 bis 100.000 Tokens. Das ist groß genug für fast jede Sprache, aber klein genug, um effizient zu rechnen.
Ein verbreitetes Verfahren heißt Byte Pair Encoding, kurz BPE. Es analysiert einen riesigen Trainingstext und sucht automatisch nach Zeichenfolgen, die besonders häufig zusammen auftreten. Diese werden dann zu einem eigenen Token. Niemand legt von Hand fest, welche Silben oder Fragmente sinnvoll sind — das ergibt sich aus der Häufigkeit im Text.
Wie ein Text zu Tokens wird
Der Prozess läuft in Millisekunden ab, bevor das eigentliche Modell antwortet. Zuerst wird der Rohtext normalisiert: Leerzeichen, Satzzeichen und Sonderzeichen werden einheitlich behandelt. Dann sucht der Tokenizer — ein spezielles Programm — von links nach rechts nach dem längsten Textfragment, das in seinem Wortschatz vorkommt, und ersetzt es durch eine Zahl. Am Ende steht keine Zeichenkette mehr, sondern eine Liste aus Zahlen.
Ein Beispiel: Der Satz „Ich esse gerne Schokoladeneis“ könnte in die Tokens [„Ich“, „esse“, „gerne“, „Schoko“, „laden“, „eis“] zerlegt werden. Das Modell rechnet dann mit den Zahlen, die diesen Tokens entsprechen — etwa [482, 1091, 7823, 3041, 209, 55]. Die Reihenfolge bleibt erhalten, der Inhalt ist aber jetzt für eine Rechenmaschine zugänglich.
Wichtig: Jedes Modell hat seinen eigenen Tokenizer. Derselbe Text ergibt bei GPT-4 und einem anderen Modell unterschiedliche Token-Listen. Das hat Konsequenzen: Ein Modell, das auf Englisch trainiert wurde, schneidet deutschen Text schlechter — weil seine Tokens auf englische Wortstruktur optimiert sind und deutsche Wörter in viele kleine Fragmente zerfallen.
Tokens im Alltag — Preise, Limits und Sprachunterschiede
Wer über eine Schnittstelle, also eine API, auf ein Sprachmodell zugreift, zahlt meistens pro Token — sowohl für den eingehenden Text als auch für die Antwort. Anbieter wie OpenAI veröffentlichen genaue Preistabellen dafür. Ein Daumenregel: 1.000 Tokens entsprechen ungefähr 750 englischen Wörtern. Auf Deutsch sind es oft weniger, weil lange zusammengesetzte Wörter wie „Rinderkennzeichnungsüberwachungsaufgabenübertragungsgesetz“ viele Tokens verbrauchen.
Jedes Sprachmodell hat außerdem ein sogenanntes Kontextfenster — eine Obergrenze, wie viele Tokens es auf einmal verarbeiten kann. Frühe Versionen von GPT-3 schafften 4.096 Tokens, neuere Modelle verarbeiten über eine Million. Je länger ein Dokument, desto mehr Tokens werden gebraucht. Wer ein langes PDF zusammenfassen möchte, muss prüfen, ob es in das Kontextfenster passt — sonst schneidet das Modell ab oder verarbeitet den Text in Teilen.
In Produktberichten taucht Tokenisierung meist indirekt auf: in Angaben zu Kontextlängen, Preisen pro Million Tokens oder in Benchmarks, die messen, wie gut ein Modell mit einer bestimmten Sprache umgeht. Wer versteht, was ein Token ist, kann solche Angaben einordnen — und erkennt, warum nicht jedes Modell gleich gut auf Deutsch funktioniert.