Context Window
Das Context Window ist die Menge an Text, die ein KI-Sprachmodell gleichzeitig im Blick behalten kann. Alles darin fließt in die Antwort ein, alles außerhalb ist für das Modell nicht vorhanden.
Programme wie ChatGPT arbeiten immer mit einem begrenzten Ausschnitt an Text. Dieser Ausschnitt heißt Context Window, auf Deutsch Kontextfenster. Er enthält alles, was das Programm gerade berücksichtigen kann: deine Frage, den bisherigen Gesprächsverlauf, hochgeladene Dokumente und die eigene Antwort im Entstehen. Was in dieses Fenster passt, wird bei der Antwort mitgedacht. Was nicht hineinpasst, existiert für das Programm schlicht nicht. Man kann sich das wie einen Schreibtisch vorstellen: Nur was darauf liegt, kann benutzt werden. Alles andere liegt im verschlossenen Schrank.
Warum Chatbots plötzlich vergesslich werden
Die Größe des Fensters entscheidet darüber, welche Aufgaben ein Modell überhaupt lösen kann. Bei einem kurzen Fenster passt vielleicht ein Zeitungsartikel hinein, aber kein ganzes Buch. Wer ein Modell bitten will, einen 300-seitigen Vertrag zusammenzufassen, braucht ein sehr großes Fenster. Sonst muss der Text in Stücke zerlegt werden, und Zusammenhänge zwischen Seite 12 und Seite 280 gehen verloren.
Auch im Alltag merkt man die Grenze. In einem langen Chat rutschen die ersten Nachrichten irgendwann aus dem Fenster heraus. Das Modell wirkt dann vergesslich und widerspricht sich. Es ist aber kein Gedächtnisfehler im menschlichen Sinne. Die alten Nachrichten werden schlicht nicht mehr mitgeliefert.
Ein häufiger Irrtum: Das Context Window ist nicht das, was das Modell im Training gelernt hat. Gelerntes Wissen steckt fest im Modell. Das Fenster ist nur der Arbeitsspeicher für den aktuellen Fall. Nach dem Gespräch ist es leer, und nichts davon bleibt dauerhaft gespeichert.
Gemessen in Tokens, begrenzt durch Rechenaufwand
Die Größe wird nicht in Wörtern angegeben, sondern in Tokens. Ein Token ist ein Textbaustein, meist ein kurzes Wort oder ein Wortteil. Als Faustregel gilt: 1.000 Tokens entsprechen ungefähr 750 Wörtern deutschem Text. Ein Fenster von 128.000 Tokens fasst also grob ein dickeres Taschenbuch.
Warum ist das Fenster überhaupt begrenzt? Weil der Rechenaufwand mit der Länge stark steigt. Das Modell vergleicht im Prinzip jeden Textbaustein mit jedem anderen, um Bezüge zu erkennen. Bei doppelter Textlänge vervierfacht sich dieser Aufwand in der klassischen Bauweise. Deshalb kosten sehr lange Eingaben mehr Geld und mehr Zeit.
Forschung und Technik haben das Problem entschärft, aber nicht gelöst. Neuere Verfahren rechnen sparsamer und erlauben Fenster von einer Million Tokens und mehr. Trotzdem gilt: Große Fenster bedeuten nicht automatisch gute Ergebnisse. Modelle übersehen Informationen häufiger, wenn diese in der Mitte eines sehr langen Textes stehen. Fachleute nennen dieses Phänomen „lost in the middle“.
Ein Verkaufsargument in jeder Modell-Ankündigung
Wenn ein Unternehmen ein neues Modell vorstellt, steht die Fenstergröße fast immer in den Schlagzeilen. Angaben wie „200K Kontext“ oder „1 Million Tokens“ sind zu einem Wettbewerbsargument geworden. Für Anleger und Firmenkunden ist das interessant, weil daran hängt, ob sich juristische Akten, Programmcode oder Forschungsberichte am Stück verarbeiten lassen.
Auch beim Bezahlen spielt das Fenster eine Rolle. Wer KI über eine Programmierschnittstelle nutzt, zahlt pro Token, also nach Textmenge. Ein langer Anhang in jeder Anfrage treibt die Kosten spürbar nach oben. Viele Anwendungen suchen deshalb vorher gezielt die passenden Textstellen heraus und schicken nur diese ins Fenster.
Im privaten Gebrauch begegnet dir die Grenze am ehesten beim Hochladen von Dateien oder bei sehr langen Unterhaltungen. Ein praktischer Tipp: Wichtige Vorgaben lieber neu wiederholen, statt sich auf frühere Nachrichten zu verlassen. Damit landen sie sicher wieder im Fenster.