Token-Limit

Programme wie ChatGPT lesen Text nicht als Wörter. Sie zerlegen ihn vorher in kleine Bausteine, die man Tokens nennt. Ein Token ist mal ein ganzes kurzes Wort, mal nur eine Silbe oder ein Satzzeichen. Für deutschen Text gilt als grobe Faustregel: 100 Wörter ergeben etwa 130 bis 150 solcher Bausteine. Das Token-Limit ist nun die Obergrenze dafür, wie viele dieser Bausteine das Programm gleichzeitig im Blick behalten kann. Alles zusammen zählt mit: deine Frage, alles vorher Gesagte im selben Gespräch und die Antwort, die gerade entsteht.

Warum Chatbots irgendwann vergessen

Das Limit ist der Grund für ein Verhalten, das viele Nutzer verwirrt. In einem langen Gespräch scheint das Programm plötzlich zu vergessen, was am Anfang besprochen wurde. Es vergisst nicht wirklich – der alte Teil passt schlicht nicht mehr in das, was gerade betrachtet wird. Ältere Nachrichten fallen hinten heraus, sobald vorne neue dazukommen.

Praktisch bedeutet das eine harte Grenze für viele Aufgaben. Ein Modell mit 8.000 Tokens fasst ungefähr 20 Buchseiten. Wer damit einen 300-seitigen Geschäftsbericht zusammenfassen will, scheitert. Deshalb werben Anbieter inzwischen offensiv mit großen Limits: aktuelle Modelle liegen bei 128.000 Tokens, einzelne bei einer Million und mehr. Das entspricht mehreren dicken Romanen auf einmal.

Ein zweiter Punkt ist das Geld. Anbieter rechnen die Nutzung ihrer Modelle pro Token ab, für Eingabe und Ausgabe getrennt. Wer bei jeder Anfrage ein ganzes Handbuch mitschickt, zahlt jedes Mal dafür mit. Ein großes Limit auszureizen ist technisch möglich, aber selten die günstigste Lösung.

Was beim Zerlegen und Rechnen passiert

Beim Zerlegen des Textes bekommt jeder Baustein eine Nummer aus einem festen Wörterbuch. Häufige Wörter wie „und“ sind ein einziges Token. Seltene oder zusammengesetzte Wörter zerfallen in mehrere Teile. Das deutsche Wort „Donaudampfschifffahrt“ wird zu einer Handvoll Bruchstücke, das englische „and“ bleibt eines. Deshalb verbraucht derselbe Inhalt auf Deutsch mehr Tokens als auf Englisch.

Die Grenze selbst hat einen technischen Grund. Sprachmodelle vergleichen beim Rechnen jeden Baustein mit jedem anderen, um Zusammenhänge zu erkennen. Verdoppelt man die Textmenge, vervierfacht sich dieser Aufwand ungefähr. Ein unbegrenztes Fenster wäre also nicht nur teuer, sondern rechnerisch nicht machbar. Zusätzlich muss das Modell während des Trainings gelernt haben, mit langen Texten umzugehen – man kann das Limit nicht einfach nachträglich hochsetzen.

Ein verbreiteter Irrtum: Ein großes Limit heißt nicht, dass alles gleich gut genutzt wird. Untersuchungen zeigen, dass Modelle Informationen am Anfang und am Ende eines langen Textes zuverlässiger finden als in der Mitte. Der Fachausdruck dafür ist „lost in the middle“. Eine Million Tokens Kapazität garantieren also keine Million Tokens Aufmerksamkeit.

Wo dir die Grenze im Alltag auffällt

Am deutlichsten merkst du es beim Hochladen von Dateien. Ein Chatbot, der ein PDF ablehnt oder nur die ersten Seiten kommentiert, stößt an sein Token-Limit. Auch abgeschnittene Antworten gehören dazu: Für die Ausgabe gibt es meist ein eigenes, kleineres Limit von wenigen tausend Tokens. Der Text bricht dann mitten im Satz ab.

In Nachrichten über KI taucht der Begriff meist als Verkaufsargument auf. Wenn ein Unternehmen ein neues Modell vorstellt, steht die Kontextlänge fast immer in der Pressemitteilung. Größere Fenster gelten als Fortschritt, weil sie neue Anwendungen erlauben – etwa das Durchsuchen kompletter Vertragssammlungen oder ganzer Programmcodes.

Programmierer, die KI-Modelle in eigene Software einbauen, planen fest mit dem Limit. Eine gängige Lösung heißt RAG: Statt ein ganzes Dokument mitzuschicken, sucht ein Vorprogramm nur die paar passenden Absätze heraus. Das spart Tokens, spart Geld und liefert oft bessere Antworten als das Vollstopfen des Fensters.