Long-Context-Inference
Long-Context-Inference bezeichnet die Fähigkeit eines KI-Sprachmodells, sehr lange Texte auf einmal zu verarbeiten und dabei den gesamten Inhalt für seine Antwort zu berücksichtigen. Je länger der Text, den ein Modell auf einmal lesen kann, desto anspruchsvoller wird die dafür nötige Rechentechnik.
Ein KI-Sprachmodell liest Text nicht wie ein Mensch Seite für Seite. Es verarbeitet alles auf einmal — und zwar innerhalb eines festen Rahmens, dem sogenannten Kontextfenster. Dieses Fenster legt fest, wie viel Text das Modell gleichzeitig « im Blick » haben kann. Long-Context-Inference ist der Vorgang, bei dem dieses Fenster sehr groß ist: statt ein paar Absätzen kann das Modell ganze Bücher, lange Vertragstexte oder stundenlange Gesprächsprotokolle auf einmal verarbeiten. Ältere Modelle schafften wenige tausend Wörter, aktuelle Systeme verarbeiten Millionen davon. Das klingt nach einem einfachen Mehr-vom-Gleichen, ist technisch aber ein grundlegend anderes Problem.
Warum die Länge des Kontextfensters so viel ausmacht
Die meisten praxisnahen Aufgaben scheitern nicht an fehlendem Wissen, sondern an zu wenig Platz. Wer ein Modell bittet, einen hundert Seiten langen Vertrag zusammenzufassen, muss den gesamten Vertrag auf einmal eingeben können. Mit einem kleinen Kontextfenster bleibt nur eine Behelfslösung: den Text in Stücke zerschneiden, jeden Teil separat verarbeiten und die Ergebnisse manuell zusammensetzen. Dabei gehen Zusammenhänge verloren, die sich über das ganze Dokument erstrecken.
Ein größeres Kontextfenster löst dieses Problem grundsätzlich. Ein Modell, das den gesamten Vertrag sieht, kann eine Klausel auf Seite 3 mit einer Ausnahme auf Seite 87 verknüpfen. Das ist ein qualitativer Unterschied, kein gradueller. Deshalb gilt die Kontextlänge neben der reinen Modellgröße als einer der wichtigsten Faktoren beim Vergleich moderner Sprachmodelle.
Das Skalierungsproblem hinter langen Kontexten
Das technische Kernproblem ist der sogenannte Attention-Mechanismus — das Verfahren, mit dem ein Sprachmodell entscheidet, welche Teile des Textes füreinander relevant sind. Dieses Verfahren kostet Rechenzeit, die quadratisch mit der Textlänge wächst. Verdoppelt man die Eingabelänge, vervierfacht sich der Rechenaufwand ungefähr. Bei einer Million Wörter ist das schlicht nicht mehr bezahlbar, wenn man es nicht abmildert.
Forscher haben mehrere Wege entwickelt, um dieses Wachstum zu bremsen. Eine Methode lässt das Modell nur auf einen gleitenden Ausschnitt des Textes gleichzeitig achten, statt auf alles. Eine andere komprimiert ältere Teile des Gesprächs zu einer Art Kurznotiz. Wieder andere ersetzen den klassischen Attention-Mechanismus durch Verfahren, die mathematisch günstiger skalieren. Keiner dieser Wege ist kostenlos: Jede Vereinfachung riskiert, dass das Modell Details übersieht, die weit hinten im Text stehen.
Ein bekanntes Testproblem aus der Forschung heißt « Needle in a Haystack » — auf Deutsch: Nadel im Heuhaufen. Dabei versteckt man eine einzelne Information irgendwo mitten in einem sehr langen Dokument und fragt das Modell danach. Es zeigt sich, dass viele Modelle mit wachsendem Kontext schlechter werden, besonders wenn die Antwort in der Mitte des Textes versteckt ist statt am Anfang oder Ende. Dieses Phänomen nennt sich « lost in the middle » und ist bis heute nicht vollständig gelöst.
Long-Context-Inference in Produkten und Schlagzeilen
Googles Gemini-Modelle haben das Kontextfenster in der Öffentlichkeit zum Wettbewerbsthema gemacht. Gemini 1.5 Pro unterstützte bei seiner Vorstellung im Jahr 2024 bis zu einer Million Token — eine Einheit, die ungefähr einem halben bis dreiviertel Wort entspricht. Das entspricht rund 700.000 Wörtern oder dem Inhalt mehrerer dicker Romane. Anthropics Claude und OpenAIs GPT-4-Modelle zogen mit eigenen langen Kontextfenstern nach.
In der Praxis taucht Long-Context-Inference überall dort auf, wo große Mengen Text automatisch ausgewertet werden sollen. Anwälte laden ganze Vertragswerke hoch, Entwickler lassen ihr gesamtes Code-Repository analysieren, Journalisten fragen ein Modell zu einer langen Dokumentensammlung. Auch KI-Assistenten, die sich an lange Gespräche erinnern sollen, hängen von dieser Fähigkeit ab.
Wichtig ist dabei eine häufige Verwechslung: Ein großes Kontextfenster ist nicht dasselbe wie ein gutes Gedächtnis. Das Modell speichert nichts dauerhaft — sobald das Gespräch endet, ist alles weg. Was Long-Context-Inference bietet, ist Aufmerksamkeitsspanne, kein Langzeitgedächtnis. Für echtes Erinnern über viele Gespräche hinweg braucht es andere Verfahren, etwa externe Datenbanken, in denen relevante Informationen gespeichert und bei Bedarf abgerufen werden.