Compaction Summary

Programme wie ChatGPT können sich nur eine begrenzte Menge Text gleichzeitig ansehen. Diese Obergrenze nennt man Kontextfenster: alles, was das Programm für eine Antwort gerade vor Augen hat. Bei einem langen Gespräch wird diese Grenze irgendwann erreicht. Dann wird der bisherige Verlauf durch eine kurze Zusammenfassung ersetzt, und das Gespräch läuft mit dieser Kurzfassung weiter. Genau diese automatisch erzeugte Kurzfassung heißt Compaction Summary. Der englische Begriff „compaction“ bedeutet so viel wie Verdichten oder Zusammenpressen.

Warum lange Gespräche sonst abbrechen

Ohne Verdichtung hätte ein Assistent zwei schlechte Möglichkeiten. Entweder er verweigert die Antwort, weil der Verlauf nicht mehr passt. Oder er wirft die ältesten Nachrichten einfach weg. Beides ist für den Nutzer unangenehm, denn wichtige Absprachen von vor einer Stunde wären plötzlich verschwunden.

Es gibt außerdem einen wirtschaftlichen Grund. Anbieter rechnen üblicherweise pro verarbeitetem Textbaustein ab. Wird bei jeder neuen Frage der komplette Verlauf mitgeschickt, steigen die Kosten mit jeder Runde. Eine Zusammenfassung von 500 Wörtern ist deutlich billiger als ein Protokoll von 50.000 Wörtern. Auch die Antwortzeit sinkt, weil weniger Text gelesen werden muss.

Besonders wichtig ist das bei Programmier-Assistenten. Solche Sitzungen laufen oft stundenlang und umfassen hunderte Arbeitsschritte. Ohne Verdichtung wäre eine längere Zusammenarbeit an einem Softwareprojekt technisch kaum möglich.

Was beim Verdichten behalten und was weggeworfen wird

Der Ablauf ist meist gleich. Das System beobachtet, wie voll das Kontextfenster ist. Wird eine Schwelle überschritten, etwa 80 Prozent, wird der ältere Teil des Gesprächs an das Sprachmodell selbst geschickt. Der Auftrag lautet ungefähr: Fasse zusammen, was für die weitere Arbeit nötig ist. Das Ergebnis tritt an die Stelle des Originals, die letzten Nachrichten bleiben oft unverändert erhalten.

Entscheidend ist, was als wichtig gilt. Gute Anweisungen verlangen ausdrücklich bestimmte Inhalte: das Ziel des Nutzers, getroffene Entscheidungen, bearbeitete Dateien, gescheiterte Versuche und offene Aufgaben. Höflichkeitsfloskeln und Zwischenfragen fallen weg. Man kann sich das wie ein Sitzungsprotokoll vorstellen: nicht jedes Wort, aber jeder Beschluss.

Der Haken liegt in der Natur der Sache. Eine Zusammenfassung ist ein Informationsverlust, und sie wird von derselben fehlbaren KI erzeugt, die danach mit ihr weiterarbeitet. Fehlt ein Detail, ist es endgültig weg. Verdichtet man mehrfach hintereinander, entsteht eine Zusammenfassung der Zusammenfassung, und Ungenauigkeiten verstärken sich. Ein verwandter, aber anderer Ansatz ist externer Speicher: Dabei werden Notizen in Dateien geschrieben und bei Bedarf gezielt nachgeladen, statt sie zu komprimieren.

Der Hinweis mitten im Chat

Als Nutzer bemerkt man die Verdichtung an kleinen Hinweisen. Manche Oberflächen zeigen eine Zeile wie „Konversation wurde zusammengefasst“ oder einen Trennstrich im Verlauf. In Entwicklerwerkzeugen gibt es teils einen Befehl, mit dem man die Verdichtung selbst auslöst, bevor der Speicher knapp wird.

Ein typisches Symptom kennen viele, ohne den Begriff zu kennen. Der Assistent wirkt nach langer Zeit plötzlich vergesslich und fragt nach etwas, das längst geklärt war. Häufig steckt eine Verdichtung dahinter, bei der dieses Detail nicht ins Summary aufgenommen wurde. Ein kurzer Hinweis auf die frühere Absprache hilft dann meist weiter.

In Fachnachrichten taucht der Begriff vor allem bei sogenannten KI-Agenten auf, also Programmen, die über längere Zeit selbstständig Aufgaben abarbeiten. Anbieter beschreiben in ihrer Dokumentation, wie ihr System verdichtet und ab welcher Auslastung. Für Firmen ist das keine Nebensache, denn davon hängt ab, wie verlässlich ein Assistent über Stunden arbeitet.