Task Compaction

Programme wie ChatGPT können sich nur eine begrenzte Menge Text auf einmal ansehen. Diese Obergrenze nennt man das Kontextfenster: alles, was das Programm gerade vor Augen hat, muss hineinpassen. Bei einer langen Unterhaltung oder einer Aufgabe mit vielen Arbeitsschritten wird dieser Platz irgendwann knapp. Task Compaction ist der Ausweg: Das Programm schreibt sich selbst eine Zusammenfassung des bisherigen Verlaufs und arbeitet nur noch mit dieser weiter. Der ausführliche Verlauf wird dabei weggeworfen. Man kann es sich wie das Übertragen wilder Mitschriften in ein sauberes Protokoll vorstellen, bevor man den Notizzettel wegwirft.

Warum lange Aufgaben ohne Verdichtung scheitern

Moderne KI-Assistenten erledigen Aufgaben, die aus dutzenden Schritten bestehen. Ein Programmier-Assistent liest Dateien, ändert Code, startet Tests, liest Fehlermeldungen und korrigiert nach. Jeder dieser Schritte erzeugt Text, der im Kontextfenster landet. Nach einer Stunde Arbeit ist der Platz voll, obwohl die Aufgabe noch nicht fertig ist.

Ohne Verdichtung gäbe es nur zwei schlechte Optionen. Entweder bricht das Programm mit einer Fehlermeldung ab. Oder es vergisst einfach den Anfang und damit oft den eigentlichen Auftrag. Beides ist für den Nutzer wertlos. Task Compaction macht aus einer harten Grenze eine weiche: Die Sitzung läuft weiter, nur mit weniger Detailwissen über die Vergangenheit.

Dazu kommt das Geld. Anbieter rechnen nach der Menge Text ab, die das Modell verarbeitet. Ein voller Verlauf wird bei jeder neuen Anfrage komplett mitgelesen und kostet jedes Mal neu. Eine Zusammenfassung von 2.000 Wörtern ist deutlich billiger als ein Protokoll von 200.000 Wörtern.

Was beim Zusammenfassen behalten und was gestrichen wird

Der Ablauf ist meist automatisch. Das System beobachtet, wie voll das Kontextfenster ist. Überschreitet die Füllung eine Schwelle, etwa 80 Prozent, wird die Verdichtung ausgelöst. Das Modell erhält dann den Auftrag, den eigenen Verlauf zu protokollieren: Was war die Aufgabe? Was wurde bereits erledigt? Welche Entscheidungen sind gefallen? Was ist der nächste Schritt?

Diese Zusammenfassung ersetzt den alten Verlauf vollständig. Nur wenige Teile bleiben unangetastet, etwa die ursprüngliche Anweisung des Nutzers und die letzten Arbeitsschritte. Gestrichen wird vor allem Rohmaterial: vollständige Dateiinhalte, lange Ausgaben von Testprogrammen, Fehlversuche. Statt des kompletten Textes einer Datei steht dann nur noch, dass sie gelesen wurde und was darin wichtig war.

Genau hier liegt das Risiko. Was nicht in der Zusammenfassung steht, ist endgültig verloren. Fasst das Modell ungeschickt zusammen, wiederholt es danach Fehler, die es vorher schon verworfen hatte. Deshalb legen manche Systeme wichtige Zwischenstände zusätzlich in Dateien ab. Diese Dateien überleben die Verdichtung, weil sie nicht im Kontextfenster liegen, sondern auf der Festplatte.

Task Compaction in Coding-Assistenten und Agenten

Am häufigsten trifft man den Begriff bei KI-Werkzeugen für Programmierer. Wenn dort mitten in einer langen Sitzung eine Meldung wie „Compacting conversation“ erscheint, läuft genau dieser Vorgang. Manche Werkzeuge bieten auch einen Befehl an, mit dem man die Verdichtung selbst auslöst, bevor der Platz von allein knapp wird.

Ein zweites Feld sind sogenannte Agenten. Das sind KI-Programme, die eine Aufgabe über längere Zeit selbstständig abarbeiten, etwa eine Recherche im Internet. Solche Systeme laufen oft Stunden und erzeugen dabei viel mehr Text, als in ein Kontextfenster passt. Ohne regelmäßige Verdichtung wären sie technisch gar nicht möglich.

Ein verbreiteter Irrtum ist, Task Compaction sei ein Gedächtnis. Das trifft nicht zu. Ein Gedächtnis speichert Informationen dauerhaft und über Sitzungen hinweg. Die Verdichtung dagegen ist Notwehr gegen Platzmangel innerhalb einer einzigen Sitzung. Sie macht das Modell nicht klüger, sie hält es nur arbeitsfähig.