Modellkontext

Programme wie ChatGPT erzeugen Text, indem sie Wort für Wort vorhersagen, was als Nächstes passt. Für diese Vorhersage schauen sie auf alles, was gerade vor ihnen liegt: deine Frage, hochgeladene Dokumente, den bisherigen Gesprächsverlauf. Diese gesamte Textmenge nennt man Modellkontext. Sie ist begrenzt, und zwar auf eine feste Zahl von Zeichenbausteinen. Was nicht hineinpasst, existiert für das Programm in diesem Moment schlicht nicht. Man kann sich den Modellkontext als Schreibtisch vorstellen: Nur was darauf liegt, kann beim Schreiben verwendet werden.

Warum der Schreibtisch irgendwann voll ist

Die Größe des Kontexts wird in Tokens gemessen. Ein Token ist ein Textbaustein, meist ein kurzes Wort oder eine Wortsilbe. Als grobe Faustregel gilt: 1.000 Tokens entsprechen etwa 750 deutschen Wörtern. Frühe Chatbots kamen mit rund 4.000 Tokens aus, das sind etwa zehn Buchseiten. Heutige Spitzenmodelle schaffen mehrere hunderttausend Tokens, also ganze Bücher.

Diese Grenze entscheidet darüber, welche Aufgaben überhaupt möglich sind. Ein Modell mit kleinem Kontext kann keinen 200-seitigen Vertrag am Stück prüfen. Es kann auch kein langes Gespräch führen, ohne den Anfang zu vergessen. Genau deshalb werben Anbieter so auffällig mit großen Kontextfenstern.

Ein häufiger Irrtum: Der Kontext ist kein Gedächtnis. Er ist eher ein Kurzzeitspeicher, der nach jeder Anfrage neu befüllt wird. Wenn ein Chatbot sich an ein früheres Gespräch erinnert, liegt das meist daran, dass die Software alte Notizen automatisch wieder in den Kontext hineinkopiert. Das Modell selbst lernt aus deinen Nachrichten nichts dazu.

Was beim Überlaufen passiert

Wird die Grenze erreicht, muss etwas weichen. Viele Chat-Oberflächen löschen dann stillschweigend die ältesten Nachrichten. Der Nutzer merkt davon oft nichts, wundert sich aber, warum das Programm plötzlich Details vom Gesprächsanfang durcheinanderbringt. Andere Systeme fassen den alten Verlauf vorher zusammen, um Platz zu sparen.

Große Kontexte sind außerdem teuer. Das Modell vergleicht beim Rechnen im Prinzip jeden Textbaustein mit jedem anderen. Verdoppelt man die Textmenge, vervierfacht sich dieser Aufwand ungefähr. Deshalb kosten lange Anfragen bei kommerziellen Anbietern spürbar mehr und dauern länger. Neuere Verfahren mildern dieses Problem, sie beseitigen es aber nicht.

Ein großer Kontext garantiert auch keine gute Nutzung. Untersuchungen zeigen einen Effekt, den man „Lost in the Middle“ nennt: Informationen am Anfang und am Ende eines langen Textes werden zuverlässiger gefunden als solche in der Mitte. Ein Modell mit einer Million Tokens Kontext liest also nicht automatisch alles gleich aufmerksam.

Kontext in Chatbots, Dokumenten und Programmierwerkzeugen

Im Alltag begegnet dir die Grenze am schnellsten beim Hochladen von Dateien. Wenn ein Chatbot ein PDF ablehnt oder nur teilweise auswertet, ist meist der Kontext zu klein. Auch beim Programmieren spielt das eine Rolle: Assistenten wie GitHub Copilot müssen entscheiden, welche Dateien eines Projekts sie überhaupt mitschicken.

In Produktankündigungen sind Kontextgrößen ein zentrales Verkaufsargument. Wenn eine Meldung von einem Modell „mit einer Million Tokens Kontext“ spricht, ist genau diese Obergrenze gemeint. Solche Zahlen lassen sich zwischen Anbietern grob vergleichen, sagen aber nichts über die Qualität der Antworten aus.

Weil Kontext knapp und teuer ist, gibt es eine ganze Technik drumherum. Bei RAG, kurz für Retrieval-Augmented Generation, durchsucht ein Zusatzsystem erst eine Datenbank und legt nur die passenden Textstellen in den Kontext. So kann ein Unternehmen tausende Dokumente nutzbar machen, ohne sie alle gleichzeitig einzuspeisen. Diese Auswahlarbeit ist heute oft wichtiger als die reine Größe des Kontextfensters.