Kontext-Token

Programme wie ChatGPT lesen Text nicht Buchstabe für Buchstabe und auch nicht Wort für Wort. Sie zerlegen ihn in kleine Häppchen, die man Token nennt. Ein Token ist meist eine Silbe, ein kurzes Wort oder ein Wortteil. Als Faustregel gilt: Hundert deutsche Wörter ergeben ungefähr 130 bis 150 Token. Kontext-Token sind nun genau die Token, die das Programm gerade gleichzeitig vor sich liegen hat: deine Frage, alles Vorherige aus dem Gespräch und die Antwort, die es gerade schreibt. Alles zusammen muss in ein festes Fenster passen, das Kontextfenster heißt.

Die harte Grenze des Gedächtnisses

Das Kontextfenster ist die einzige Form von Gedächtnis, die ein solches Programm während eines Gesprächs besitzt. Was nicht darin steht, existiert für die Antwort schlicht nicht. Deshalb wirkt ein Chatbot manchmal vergesslich: In einem langen Gespräch fallen die ältesten Nachrichten hinten aus dem Fenster heraus. Das Programm hat sie dann nicht vergessen, es sieht sie einfach nicht mehr.

Die Größe dieses Fensters ist deshalb eine der wichtigsten Kennzahlen bei jedem neuen Modell. Frühe Versionen von ChatGPT arbeiteten mit rund 4.000 Token, also etwa acht Textseiten. Aktuelle Modelle schaffen 128.000 bis über eine Million Token. Eine Million Token entspricht grob mehreren dicken Romanen. Damit lässt sich ein ganzer Gesetzestext oder eine komplette Programmiersammlung auf einmal einlesen.

Kontext-Token sind außerdem die Recheneinheit, nach der abgerechnet wird. Anbieter verlangen einen Preis pro Million Token, getrennt nach Eingabe und Ausgabe. Wer ein KI-Werkzeug in eine App einbaut, kalkuliert also in Token, nicht in Fragen oder Minuten. Lange Gespräche werden dabei überproportional teuer, weil bei jeder neuen Frage der gesamte bisherige Verlauf erneut mitgeschickt wird.

Was beim Zerlegen und Zusammenhalten passiert

Zuerst zerlegt ein Tokenizer den Text nach einer festen Liste häufiger Zeichenfolgen. Häufige Wörter wie „und“ werden zu einem einzigen Token. Seltene Wörter wie „Donaudampfschifffahrt“ zerfallen in mehrere Teile. Deutsche Texte brauchen deshalb etwas mehr Token als englische, weil die Trainingslisten stark auf Englisch ausgerichtet sind. Jedes Token bekommt anschließend eine Nummer und wird intern zu einer langen Zahlenreihe.

Beim Antworten vergleicht das Modell jedes Token mit allen anderen im Fenster. So erkennt es, dass sich ein „sie“ auf eine Person aus dem dritten Satz bezieht. Dieser Vergleich ist der Grund für die Grenze: Der Rechenaufwand steigt ungefähr im Quadrat zur Zahl der Token. Doppelt so viel Kontext bedeutet grob viermal so viel Arbeit. Deshalb sind große Fenster technisch teuer und wurden erst durch spezielle Tricks bezahlbar.

Ein verbreiteter Irrtum: Ein großes Kontextfenster heißt nicht, dass das Modell alles darin gleich gut nutzt. In Tests finden Modelle Informationen am Anfang und am Ende zuverlässig, während sie Angaben in der Mitte häufiger übersehen. Fachleute nennen das „Lost in the Middle“. Mehr Kontext ist also nicht automatisch besser.

Token in Preislisten und Produktankündigungen

Bei jeder Modellvorstellung steht die Fenstergröße in der Überschrift. Angaben wie „200K Kontext“ bedeuten 200.000 Token. Auch Börsen- und Techmeldungen greifen die Zahl auf, weil sie zeigt, welche Aufgaben ein Anbieter überhaupt bedienen kann. Ein Modell, das einen kompletten Jahresbericht am Stück liest, eröffnet andere Geschäftsfelder als eines mit acht Seiten Spielraum.

Im Alltag merkst du Token an Fehlermeldungen wie „Nachricht zu lang“ oder daran, dass ein Chatbot ältere Absprachen ignoriert. Manche Dienste fassen alte Gesprächsteile automatisch zusammen, um Platz zu sparen. Wer selbst mit Programmierschnittstellen arbeitet, sieht in der Abrechnung genau, wie viele Eingabe- und Ausgabe-Token jede Anfrage gekostet hat. Zu unterscheiden ist der Kontext dabei vom Training: Trainingswissen steckt dauerhaft im Modell, Kontext-Token verschwinden nach dem Gespräch wieder.