Short Context

Programme wie ChatGPT können immer nur eine begrenzte Menge Text auf einmal überblicken. Diese Menge nennt man Kontextfenster: alles, was das Programm für seine aktuelle Antwort gleichzeitig vor Augen hat. Von Short Context spricht man, wenn dieses Fenster klein ist, also grob zwischen etwa 2.000 und 16.000 Texteinheiten liegt. Zum Vergleich: Das sind ungefähr fünf bis dreißig Buchseiten. Alles, was nicht mehr hineinpasst, fällt für die Antwort einfach weg. Das Programm merkt das nicht und weist auch nicht darauf hin – es antwortet einfach auf Basis dessen, was noch da ist.

Was ein kleines Fenster kostet und was es spart

Ein kleines Fenster ist zunächst eine Einschränkung. Ein Modell mit 4.000 Einheiten kann keinen ganzen Vertrag prüfen und keinen Roman zusammenfassen. Auch ein längeres Gespräch wird zum Problem: Irgendwann rutscht der Anfang aus dem Fenster heraus. Dann vergisst das Modell, wie du heißt oder worum es ursprünglich ging. Nutzer halten das oft für einen Fehler, dabei ist es eine harte technische Grenze.

Umgekehrt hat Short Context handfeste Vorteile. Der Rechenaufwand für die Verarbeitung steigt überproportional mit der Textlänge. Doppelt so viel Text bedeutet deshalb deutlich mehr als doppelt so viel Rechenzeit. Wer ein Modell mit kurzem Kontext betreibt, zahlt pro Anfrage spürbar weniger und bekommt schneller eine Antwort. Für viele Aufgaben reicht das völlig: Eine E-Mail umformulieren oder eine Produktbeschreibung schreiben braucht kein Fenster für tausend Seiten.

Hinzu kommt ein Punkt, der oft übersehen wird. Auch Modelle mit riesigem Kontextfenster arbeiten nicht auf ganzer Länge gleich zuverlässig. Informationen in der Mitte eines sehr langen Textes werden häufiger übersehen als solche am Anfang oder Ende. Ein kurzer, gut ausgewählter Kontext liefert deshalb manchmal bessere Ergebnisse als ein langer, vollgestopfter.

Wie Entwickler die Grenze umgehen

Der Text wird vor der Verarbeitung in kleine Einheiten zerlegt, sogenannte Token. Ein Token ist etwa ein kurzes Wort oder ein Wortteil; im Deutschen entsprechen 1.000 Token grob 700 Wörtern. Die Fenstergröße wird immer in Token angegeben. Wichtig: Frage und Antwort teilen sich dieses Budget. Wer 3.900 von 4.000 Token mit seiner Frage füllt, bekommt nur noch eine sehr kurze Antwort.

Um trotzdem mit großen Dokumenten zu arbeiten, nutzt man Chunking: Der Text wird in Stücke zerschnitten und einzeln durchs Modell geschickt. Die Teilergebnisse werden anschließend zusammengefasst. Bei Chatverläufen läuft es ähnlich – ältere Nachrichten werden zu einer kurzen Notiz verdichtet, statt sie wörtlich mitzuschleppen.

Die verbreitetste Lösung heißt RAG, kurz für Retrieval Augmented Generation. Dabei sucht ein separates System zuerst die passenden Textstellen aus einer Datenbank heraus. Nur diese wenigen Absätze landen im Fenster. Das Modell muss nicht das ganze Handbuch kennen, sondern nur die drei relevanten Seiten. Diese Technik ist auch deshalb beliebt, weil sie mit kleinen und damit günstigen Modellen funktioniert.

Short Context in Produkten und Schlagzeilen

In den technischen Angaben eines Modells findest du die Fenstergröße meist direkt neben dem Namen. Ältere Modelle lagen bei 4.000 oder 8.000 Token, heutige Spitzenmodelle werben mit einer Million und mehr. Wenn ein Anbieter in einer Pressemitteilung ein größeres Fenster ankündigt, geht es genau um diesen Wert. Große Fenster kosten allerdings mehr pro Anfrage – deshalb bieten fast alle Anbieter parallel kleinere, kurzkontextige Varianten an.

Im Alltag begegnet dir Short Context vor allem als Fehlermeldung. Wenn ein Chatbot sagt, dein Text sei zu lang, oder wenn ein Upload abgelehnt wird, ist das Fenster die Ursache. Auch KI-Funktionen, die direkt auf dem Handy oder Laptop laufen, arbeiten fast immer mit kurzem Kontext, weil dort wenig Speicher zur Verfügung steht.

Ein häufiger Irrtum: Kontextfenster und Gedächtnis sind nicht dasselbe. Das Fenster ist nur der Arbeitsplatz für die aktuelle Anfrage und wird danach geleert. Wenn ein Assistent sich über Wochen an deine Vorlieben erinnert, speichert er sie außerhalb des Modells und schiebt sie bei Bedarf wieder ins Fenster.