Kontextfenster

Programme wie ChatGPT beantworten Fragen, indem sie Text lesen und passenden Text weiterschreiben. Dabei können sie nicht beliebig viel Text auf einmal überblicken. Es gibt eine feste Obergrenze dafür, wie viel Text sie beim Antworten gleichzeitig vor sich haben. Diese Obergrenze heißt Kontextfenster. Sie umfasst alles: deine Frage, die früheren Nachrichten des Gesprächs, angehängte Dokumente und die Antwort, die gerade entsteht. Was nicht hineinpasst, fällt heraus und wird beim Antworten nicht berücksichtigt.

Warum Gespräche irgendwann den Anfang vergessen

Das Kontextfenster ist der Grund für ein Verhalten, das viele Nutzer irritiert. In einem langen Chat vergisst das Programm plötzlich, was am Anfang besprochen wurde. Es ist nicht zerstreut oder unaufmerksam. Die alten Nachrichten passen einfach nicht mehr in das Fenster und werden abgeschnitten.

Ein häufiger Irrtum ist, dass so ein Programm aus jedem Gespräch dauerhaft lernt. Das tut es normalerweise nicht. Sein Wissen stammt aus dem Training, das lange vor deinem Chat abgeschlossen wurde. Alles, was du ihm jetzt erzählst, lebt nur im Kontextfenster. Schließt du den Chat, ist es weg, sofern das Produkt nicht separat Notizen speichert.

Für Firmen ist die Fenstergröße deshalb ein hartes Kriterium. Wer einen Vertrag über 200 Seiten prüfen lassen will, braucht ein Fenster, in das 200 Seiten passen. Sonst muss der Text in Häppchen zerlegt werden, und Zusammenhänge über die Häppchengrenzen hinweg gehen verloren.

Gemessen in Tokens, nicht in Seiten

Die Größe wird nicht in Wörtern angegeben, sondern in sogenannten Tokens. Ein Token ist ein Textbaustein, meist ein kurzes Wort oder eine Wortsilbe. Als Faustregel gilt: 1000 Tokens entsprechen etwa 750 deutschen Wörtern. Ein Fenster von 128.000 Tokens fasst also grob ein dickes Taschenbuch.

Beim Antworten vergleicht das Programm jeden Textbaustein im Fenster mit allen anderen. Dadurch erkennt es, welche Wörter zusammengehören. Genau dieser Vergleich ist aber teuer: verdoppelt man die Textmenge, kann sich der Rechenaufwand vervierfachen. Deshalb waren große Fenster lange technisch schwierig und werden auch heute teurer abgerechnet.

Ein großes Fenster garantiert außerdem keine gute Nutzung. In Tests finden Modelle Informationen am Anfang und am Ende eines langen Textes zuverlässiger als in der Mitte. Fachleute nennen das den Lost-in-the-Middle-Effekt. Ein Fenster von einer Million Tokens heißt also nicht, dass alle Details darin gleich präsent sind.

Wo die Fenstergröße in Produkten auftaucht

In Produktankündigungen ist die Fenstergröße eine der wichtigsten Zahlen. Frühe Versionen von ChatGPT arbeiteten mit wenigen tausend Tokens. Heute nennen Anbieter wie OpenAI, Anthropic oder Google Werte von 128.000 bis über eine Million Tokens. Solche Sprünge sind ein zentrales Verkaufsargument.

Im Alltag merkst du den Unterschied bei großen Aufgaben. Ein ganzes Programmierprojekt prüfen, ein Buch zusammenfassen, eine Stunde Gesprächsprotokoll auswerten: das gelingt nur mit großem Fenster. Bei kurzen Fragen spielt die Größe dagegen keine Rolle.

Verwechseln solltest du das Kontextfenster nicht mit dem Speicher, den manche Chat-Apps anbieten. Dieser Speicher legt Notizen über dich außerhalb des Fensters ab. Vor jeder Antwort werden passende Notizen hineinkopiert. Das Fenster bleibt also gleich groß, es wird nur geschickter gefüllt. Dieselbe Idee steckt hinter Systemen, die vor dem Antworten Dokumente durchsuchen und nur die relevanten Stellen mitgeben.