Context Compaction
Context Compaction ist ein Verfahren, bei dem ein Chatprogramm einen langen bisherigen Gesprächsverlauf zu einer kurzen Zusammenfassung eindampft, damit die Unterhaltung weitergehen kann. Es ist die übliche Antwort darauf, dass Sprachmodelle nur eine begrenzte Menge Text gleichzeitig verarbeiten können.
Ein Chatprogramm wie ChatGPT kann sich nicht unbegrenzt viel merken. Vor jeder Antwort bekommt das Programm den bisherigen Gesprächsverlauf noch einmal komplett vorgelegt. Dieser vorgelegte Text hat eine feste Obergrenze, gemessen in Textbausteinen. Bei einem sehr langen Gespräch reicht der Platz irgendwann nicht mehr. Context Compaction ist die Lösung dafür: Das System fasst den älteren Teil der Unterhaltung zu einem kurzen Text zusammen und arbeitet ab da mit dieser Zusammenfassung weiter. Der Platzbedarf sinkt dadurch stark, und das Gespräch kann fortgesetzt werden.
Warum Gespräche sonst einfach abbrechen
Die Textmenge, die ein Modell auf einmal lesen kann, heißt Kontextfenster. Sie wird in Token gemessen, also in Wortbausteinen. Ein Token entspricht ungefähr einer Silbe oder einem kurzen Wort. Typische Modelle verarbeiten heute zwischen 100.000 und einer Million Token. Das klingt viel, ist aber schnell aufgebraucht.
Besonders schnell geht das bei Programmierassistenten. Wer ein Modell an einem echten Softwareprojekt arbeiten lässt, schickt ständig Dateiinhalte, Fehlermeldungen und Testergebnisse hin und her. Nach ein oder zwei Stunden Arbeit ist das Fenster voll. Ohne Compaction müsste man ein neues Gespräch anfangen und alles noch einmal erklären.
Dazu kommt ein Kostenargument. Man bezahlt bei den meisten Anbietern pro verarbeitetem Token. Ein volles Kontextfenster bei jeder einzelnen Antwort ist deshalb teuer und außerdem langsam. Eine Zusammenfassung von 2.000 Token statt 150.000 Token Gesprächsverlauf senkt beides drastisch. Compaction ist also nicht nur eine Notlösung, sondern auch eine Sparmaßnahme.
Zusammenfassen, ohne das Wichtige wegzuwerfen
Der übliche Ablauf ist einfach. Das System überwacht, wie voll das Kontextfenster ist. Überschreitet es eine Schwelle, etwa 80 Prozent, wird die Compaction ausgelöst. Das Modell bekommt dann den Auftrag, den bisherigen Verlauf selbst zusammenzufassen. Diese Zusammenfassung ersetzt die alten Nachrichten, die letzten paar Nachrichten bleiben meist im Original erhalten.
Entscheidend ist, was in die Zusammenfassung hineingehört. Gute Systeme geben dem Modell eine genaue Anweisung dafür. Festgehalten werden typischerweise: das Ziel der Nutzerin, getroffene Entscheidungen, bearbeitete Dateien, aufgetretene Fehler und der nächste geplante Schritt. Höflichkeitsfloskeln und Zwischenschritte, die zu nichts geführt haben, fallen weg. Es ist ähnlich wie ein Übergabeprotokoll beim Schichtwechsel im Krankenhaus: Nicht jedes Wort wird weitergegeben, aber alles, was für die nächste Schicht zählt.
Der Haken liegt auf der Hand. Jede Zusammenfassung verliert Informationen, und man weiß vorher nicht sicher, welche später gebraucht werden. Ein beiläufig genannter Wunsch kann nach der Compaction verschwunden sein. Deshalb kombiniert man das Verfahren oft mit externem Speicher: Wichtige Dinge werden in eine Datei geschrieben, die das Modell bei Bedarf wieder aufrufen kann. Zu unterscheiden ist Compaction außerdem vom Finetuning, bei dem ein Modell dauerhaft nachtrainiert wird. Compaction verändert das Modell überhaupt nicht, sondern nur den Text, den es vorgelegt bekommt.
Woran man Compaction im Einsatz erkennt
Am sichtbarsten ist der Vorgang in Programmierwerkzeugen wie Claude Code, Cursor oder GitHub Copilot. Dort erscheint mitten in einer langen Sitzung ein Hinweis, dass der Verlauf komprimiert wurde. Manche Werkzeuge zeigen zusätzlich einen Füllstand des Kontextfensters an. Oft lässt sich die Compaction auch mit einem Befehl von Hand auslösen, bevor man ein größeres neues Teilproblem anfängt.
Auch in normalen Chat-Oberflächen läuft so etwas im Hintergrund, nur ohne Ankündigung. Wenn ein Assistent nach hundert Nachrichten plötzlich ein Detail vom Anfang vergessen hat, war meist eine Kompaktierung im Spiel. Das ist kein Fehler des Programms, sondern die Folge einer bewussten Abwägung zwischen Platz und Vollständigkeit.
In Fachnachrichten taucht der Begriff vor allem im Zusammenhang mit KI-Agenten auf, also Systemen, die über Stunden selbstständig Aufgaben abarbeiten. Für solche Agenten ist Compaction eine Grundvoraussetzung, weil ihre Aufgaben sonst am Kontextlimit scheitern würden. Anbieter werben deshalb inzwischen ausdrücklich damit, wie gut ihre Kompaktierung funktioniert.