Context Rot
Context Rot beschreibt den Effekt, dass Sprachmodelle mit sehr langen Eingaben schlechter arbeiten, obwohl der Text offiziell noch hineinpasst. Je mehr Material im Fenster liegt, desto häufiger werden Details überlesen, verwechselt oder ignoriert.
Programme wie ChatGPT können nur eine begrenzte Menge Text auf einmal berücksichtigen. Diese Menge nennt man Kontextfenster: alles, was das Programm in einem Gespräch gerade vor Augen hat. Hersteller geben dafür große Zahlen an, etwa eine Million Wörter. Context Rot bezeichnet die Beobachtung, dass die Qualität der Antworten schon lange vor dieser Grenze nachlässt. Der Text passt technisch hinein, aber das Programm nutzt ihn immer schlechter. Wörtlich heißt der englische Begriff etwa « Kontextverfall » – die Eingabe verrottet nicht wirklich, sie wird nur zunehmend unzuverlässig verarbeitet.
Warum große Kontextfenster weniger versprechen als sie klingen
Die Größe des Kontextfensters ist zu einem Werbeargument geworden. Anbieter vergleichen sich mit Zahlen wie 128.000, 200.000 oder einer Million Tokens. Ein Token ist eine Texteinheit, etwa ein kurzes Wort oder eine Wortsilbe. Context Rot zeigt: diese Zahl ist eine Obergrenze, keine Leistungsgarantie. Sie sagt, was hineinpasst, nicht was verlässlich verstanden wird.
Für Unternehmen ist das ein praktisches Problem. Viele Firmen wollen ganze Vertragssammlungen, Handbücher oder Quartalsberichte in einem Rutsch analysieren lassen. Wenn das Modell dabei in der Mitte des Dokuments eine wichtige Klausel überliest, entstehen Fehler, die niemand bemerkt. Das Modell sagt nämlich nicht « ich habe den Überblick verloren ». Es antwortet weiterhin flüssig und selbstbewusst, nur eben falsch.
Außerdem kostet langer Kontext Geld. Abgerechnet wird meist pro Token, und die Rechenzeit steigt mit der Textmenge überproportional. Man zahlt also mehr für ein Ergebnis, das schlechter sein kann als bei einer kürzeren, gezielt ausgewählten Eingabe. Genau deshalb ist Context Rot in Fachdiskussionen ein Argument gegen die Devise « einfach alles hineinwerfen ».
Was in langen Eingaben schiefgeht
Sprachmodelle gewichten beim Antworten alle Teile der Eingabe gegeneinander. Dieser Mechanismus heißt Attention, also Aufmerksamkeit. Bei kurzen Texten ist die Aufmerksamkeit auf wenige Stellen verteilt und dadurch scharf. Bei sehr langen Texten muss sich dieselbe begrenzte Aufmerksamkeit auf tausende Stellen aufteilen. Einzelne Details bekommen dann kaum noch Gewicht.
Ein gut untersuchter Teilfall heißt « Lost in the Middle ». Versteckt man eine Information am Anfang oder am Ende eines langen Dokuments, findet das Modell sie meist zuverlässig. Liegt dieselbe Information in der Mitte, sinkt die Trefferquote deutlich. Ähnlich ist es beim Menschen: aus einem langen Vortrag bleiben der Einstieg und der Schluss hängen.
Ein zweiter Grund ist Ablenkung durch Ähnlichkeit. Stehen im Kontext zehn Textstellen, die alle fast zur Frage passen, muss das Modell die richtige auswählen. Je mehr Beinahe-Treffer es gibt, desto häufiger greift es zur falschen. Auch widersprüchliches Material schadet: veraltete und aktuelle Versionen eines Dokuments im selben Fenster führen zu vermischten Antworten. Wichtig ist die Abgrenzung zur Halluzination, also frei erfundenen Angaben. Bei Context Rot stehen die richtigen Informationen da, sie werden nur nicht richtig genutzt.
Context Rot in Chatbots und Coding-Assistenten
Am deutlichsten merkt man den Effekt in langen Chats. Nach zwei Stunden Gespräch vergisst ein Assistent plötzlich eine Vorgabe, die man am Anfang gemacht hat. Der Rat « öffne für ein neues Thema einen neuen Chat » ist die direkte Konsequenz aus Context Rot. Ähnlich verhalten sich Programmierhilfen, die ein ganzes Software-Projekt im Kontext halten: mit wachsender Datei-Menge steigt die Zahl der Flüchtigkeitsfehler.
In Produkten begegnet man deshalb häufig einer Technik namens Retrieval, also gezieltem Nachschlagen. Statt ein komplettes Handbuch mitzuschicken, sucht das System vorher die drei passenden Absätze heraus. Ein weiterer Ansatz ist Zusammenfassen: ältere Teile eines Gesprächs werden zu einem kurzen Merkzettel verdichtet. Beides verfolgt dasselbe Ziel, nämlich den Kontext klein und sauber zu halten.
In Tech-News taucht der Begriff meist bei zwei Anlässen auf. Erstens, wenn ein Anbieter ein noch größeres Kontextfenster ankündigt und Fachleute fragen, wie nutzbar es wirklich ist. Zweitens, wenn Benchmarks veröffentlicht werden, die Modelle bei 10.000 und bei 500.000 Tokens vergleichen. Ein typischer Irrtum ist, Context Rot für einen Programmierfehler zu halten, den man mit einem Update behebt. Es ist eher eine grundsätzliche Eigenschaft heutiger Modelle, die man durch geschickte Auswahl der Eingabe umgeht.