Sprach-Token
Ein Sprach-Token ist ein kleines Textstück – meist ein Wort, ein Wortteil oder ein Satzzeichen –, in das Programme geschriebene Sprache zerlegen, bevor sie damit rechnen. Chatbots verarbeiten Text nicht Buchstabe für Buchstabe und nicht Wort für Wort, sondern in genau diesen Häppchen, und danach richten sich auch ihre Preise.
Computer können mit Buchstaben nichts anfangen. Sie rechnen ausschließlich mit Zahlen. Damit ein Textprogramm einen Satz verarbeiten kann, muss der Satz also zuerst in Teile zerschnitten und dann in Zahlen übersetzt werden. Genau diese Teile heißen Sprach-Token. Ein Token ist meistens ein kurzes Wort, ein Wortstück oder ein Satzzeichen. Der Satz « Heute ist Montag. » besteht zum Beispiel aus vier Token: « Heute », « ist », « Montag » und « . » – das Leerzeichen gehört dabei oft mit zum Token.
Warum Text in Häppchen zerfällt und nicht in Wörter
Man könnte auf die Idee kommen, einfach jedes Wort als eine Einheit zu behandeln. Das scheitert an der Menge. Allein im Deutschen gibt es Millionen möglicher Wortformen, dazu Namen, Fachbegriffe und Wortneuschöpfungen. Ein Programm müsste für jede einzelne Form einen eigenen Eintrag speichern. Neue oder falsch geschriebene Wörter wären für das System schlicht unsichtbar.
Der andere Extremfall wäre, jeden Buchstaben einzeln zu nehmen. Dann käme man mit wenigen Dutzend Zeichen aus. Dafür würde ein normaler Satz aus sehr vielen Einheiten bestehen, und das Programm müsste bei jedem Wort aufs Neue erschließen, was es bedeutet. Beides kostet Rechenzeit. Token sind der Kompromiss zwischen diesen Extremen: häufige Wörter bekommen ein eigenes Token, seltene werden in Stücke zerlegt.
Diese Zerlegung erklärt auch eine bekannte Schwäche von Chatbots. Fragt man ein Sprachmodell, wie viele Buchstaben « r » im Wort « Erdbeere » stecken, liegt es überraschend oft daneben. Der Grund ist banal: Das Modell sieht keine einzelnen Buchstaben, sondern nur zwei oder drei Wortbausteine. Die Buchstaben darin sind für es kaum sichtbar.
Wie ein Tokenizer einen Satz zerschneidet
Zuständig für das Zerlegen ist ein eigenes Programm, der Tokenizer. Es besitzt eine feste Liste erlaubter Textstücke, meist zwischen 30.000 und 200.000 Einträge lang. Diese Liste heißt Vokabular. Der Tokenizer geht den Text durch und sucht immer das längste Stück, das in seiner Liste steht. Danach ersetzt er jedes Stück durch dessen Nummer in der Liste.
Das Vokabular wird nicht von Hand geschrieben, sondern aus großen Textmengen erzeugt. Ein Verfahren startet bei einzelnen Buchstaben und verschmilzt dann immer wieder das häufigste Buchstabenpaar zu einer neuen Einheit. Nach vielen Durchgängen sind so aus « e » und « n » die Endung « en » geworden, aus häufigen Silben ganze Wörter. Was oft vorkommt, wird ein Token; was selten ist, bleibt zerstückelt.
Daraus folgt ein unfairer Nebeneffekt. Die Vokabulare der großen Modelle wurden überwiegend an englischen Texten gebildet. Englische Wörter brauchen daher oft nur ein Token, deutsche Wörter zwei oder drei. Für lange deutsche Komposita wie « Donaudampfschifffahrt » können es leicht sechs oder mehr werden. Derselbe Inhalt kostet auf Deutsch also mehr Token als auf Englisch.
Token auf der Rechnung und im Kontextfenster
Wer eine KI über eine Programmierschnittstelle nutzt, bezahlt nach Token. Die Anbieter geben ihre Preise pro eine Million Token an, getrennt nach Eingabe und Ausgabe. Ausgabe-Token sind dabei regelmäßig deutlich teurer, weil das Modell sie einzeln nacheinander erzeugen muss. Als grobe Faustregel gilt: Eine Normseite Text entspricht ungefähr 500 bis 700 Token.
Auch die zweite große Kennzahl von Sprachmodellen wird in Token gemessen. Das Kontextfenster gibt an, wie viel Text ein Modell gleichzeitig im Blick behalten kann. Moderne Systeme werben mit 128.000 oder sogar einer Million Token. Das entspricht mehreren hundert Buchseiten. Ist das Fenster voll, fällt der Anfang des Gesprächs hinten heraus – deshalb vergessen Chatbots in langen Unterhaltungen manchmal, was am Anfang besprochen wurde.
In Tech-News taucht der Begriff darum ständig auf, meist als Preis- oder Leistungsangabe. Sinkt der Preis pro Million Token, wird der Betrieb von KI-Anwendungen billiger. Wächst das Kontextfenster, lassen sich längere Dokumente auf einmal verarbeiten. Nicht zu verwechseln ist das Sprach-Token übrigens mit dem Token aus der Finanzwelt, das eine digitale Vermögenseinheit bezeichnet. Die beiden Begriffe haben nichts miteinander zu tun.
