Tokenizer

Ein Computer kann mit Buchstaben nichts anfangen. Er rechnet nur mit Zahlen. Damit ein Programm, das Texte schreibt oder versteht, überhaupt starten kann, muss Sprache also in Zahlen übersetzt werden. Genau das macht der Tokenizer: Er schneidet den Text in kleine Stücke und gibt jedem Stück eine feste Nummer aus einer langen Liste. Diese Stücke heißen Tokens. Ein Token ist manchmal ein ganzes Wort, oft aber nur ein Wortteil oder ein Satzzeichen. Aus dem Satz „Der Hund schläft.“ werden so vielleicht fünf oder sechs Nummern, und mit denen rechnet das Programm weiter.

Warum Tokens die Rechnung bestimmen

Tokens sind die Maßeinheit der KI-Branche. Wer über eine Schnittstelle einen Dienst wie ChatGPT in eigene Software einbaut, zahlt pro Token. Abgerechnet wird sowohl der eingegebene Text als auch die Antwort. Eine Rechnung von „1 Dollar pro Million Tokens“ bedeutet grob: eine Million Tokens sind rund 750.000 englische Wörter. Wie ein Tokenizer schneidet, entscheidet also direkt über Kosten.

Auch das Gedächtnis eines Modells wird in Tokens gemessen. Das sogenannte Kontextfenster gibt an, wie viel Text ein Modell gleichzeitig überblicken kann. Steht dort „128.000 Tokens“, passt etwa ein dickes Buch hinein. Alles, was darüber hinausgeht, fällt weg oder muss gekürzt werden.

Und Tokenizer sind nicht für alle Sprachen gleich fair. Die meisten großen Modelle wurden vor allem mit englischem Text abgestimmt. Englische Wörter brauchen deshalb oft nur ein Token, deutsche Komposita wie „Rechtsschutzversicherung“ dagegen fünf oder mehr. Derselbe Inhalt kostet auf Deutsch also mehr Geld und mehr Platz im Kontextfenster. Bei Sprachen wie Thai oder Amharisch ist der Unterschied noch größer.

Wie der Text zerschnitten wird

Naiv könnte man einfach an Leerzeichen trennen, also pro Wort ein Token. Das scheitert schnell. Die Liste aller möglichen Wörter wäre riesig, und bei Tippfehlern oder neuen Wörtern wie „Klimakleber“ stünde das Modell ratlos da. Das andere Extrem, ein Token pro Buchstabe, funktioniert immer, macht Texte aber extrem lang und teuer.

Deshalb nutzen moderne Systeme einen Mittelweg, meist ein Verfahren namens Byte Pair Encoding. Dabei wird der Tokenizer vorab an großen Textmengen trainiert. Er beginnt bei einzelnen Zeichen und fügt immer wieder das häufigste benachbarte Paar zu einem neuen Baustein zusammen. Häufige Wörter wie „und“ landen so als ein einziges Token in der Liste. Seltene Wörter bleiben in Teile zerlegt, etwa „Klima“ plus „kleber“.

Das Ergebnis ist ein festes Vokabular, typisch zwischen 30.000 und 200.000 Einträgen. Wichtig ist: Es gehört fest zum Modell. Wer den Tokenizer nachträglich austauscht, macht das Modell unbrauchbar, weil dieselben Zahlen dann plötzlich andere Textstücke bedeuten.

Was Modelle deshalb erstaunlich schlecht können

Viele bekannte Schwächen von Chatbots gehen auf den Tokenizer zurück. Fragt man, wie viele „r“ in „Erdbeere“ stecken, liegen Modelle oft daneben. Der Grund ist einfach: Das Modell sieht keine Buchstaben, sondern zwei oder drei nummerierte Wortbrocken. Es müsste also raten, was in seinen eigenen Bausteinen steckt. Ähnlich unzuverlässig sind Reime, Silbenzählen und Rechnen mit langen Zahlen.

Im Alltag begegnet der Begriff meist in Preislisten und Datenblättern. Anbieter wie OpenAI, Google oder Anthropic geben Preise und Kontextlängen ausschließlich in Tokens an. Es gibt Webseiten, sogenannte Tokenizer-Demos, in die man einen Satz eintippt und die Zerlegung farbig markiert sieht. Das ist die schnellste Möglichkeit, ein Gefühl für die Bausteine zu bekommen.

Auch in Fachnachrichten spielt das Thema eine Rolle. Wenn eine Firma meldet, ihr neues Modell verarbeite Text „30 Prozent effizienter“, steckt manchmal nur ein besserer Tokenizer dahinter. Und Forschung an tokenfreien Modellen, die direkt mit einzelnen Bytes arbeiten, gilt als spannende Alternative. Bislang ist der klassische Tokenizer aber der Standard geblieben.