Context Machine

Ein Sprachprogramm wie ChatGPT weiß nur das, was in seiner Anfrage steht, und das, was es beim Lernen aus Texten aufgenommen hat. Alles andere kennt es nicht: nicht deine Schulnotizen, nicht die Rechnung von gestern, nicht die Nachricht von heute Morgen. Eine Context Machine ist die Schicht davor, die genau dieses fehlende Material besorgt. Sie sucht in Datenbanken, Dateien und im Netz, wählt die passenden Stellen aus und schiebt sie dem Modell zusammen mit der Frage zu. Der Name betont, dass hier nicht das Modell die Hauptarbeit macht, sondern die Maschinerie drumherum. In der Branche spricht man deshalb inzwischen von Kontext-Engineering statt nur von geschickt formulierten Fragen.

Warum gute Modelle an schlechtem Material scheitern

Zwei Firmen können dasselbe Sprachmodell einkaufen. Trotzdem liefert die eine brauchbare Antworten und die andere Unsinn. Der Unterschied liegt fast nie am Modell, sondern am Material, das es bekommt. Ein Modell ohne Zugriff auf die richtigen Dokumente rät, und Raten sieht bei Sprachmodellen leider sehr überzeugend aus.

Dazu kommt ein hartes technisches Limit. Jedes Modell hat ein Kontextfenster, also eine Obergrenze dafür, wie viel Text es auf einmal verarbeiten kann. Selbst große Fenster fassen nur einen Bruchteil eines Firmenarchivs. Man muss also auswählen. Und die Auswahl entscheidet über die Qualität der Antwort.

Ein zweiter Grund ist Geld. Anbieter rechnen nach Textmenge ab, die hinein- und hinausgeht. Wer jedes Mal hundert Seiten mitschickt, zahlt hundert Seiten, auch wenn nur ein Absatz relevant war. Eine gute Context Machine spart also nicht nur Fehler, sondern auch Kosten. Mehr Kontext ist deshalb nicht automatisch besser.

Vom Suchen zum Zusammenschneiden

Der erste Schritt ist das Zerlegen. Lange Dokumente werden in Abschnitte von wenigen hundert Wörtern geschnitten. Jeder Abschnitt bekommt eine Zahlenreihe, die seine Bedeutung beschreibt, ein sogenanntes Embedding. Texte mit ähnlichem Inhalt bekommen ähnliche Zahlenreihen, auch wenn sie andere Wörter benutzen.

Kommt eine Frage herein, wird sie in dieselbe Zahlenform übersetzt. Das System sucht dann die Abschnitte mit den ähnlichsten Zahlenreihen heraus. Dieses Verfahren nennt man Retrieval Augmented Generation, kurz RAG. Viele Systeme kombinieren es mit klassischer Stichwortsuche, weil reine Bedeutungssuche bei Produktnummern oder Namen oft danebengreift.

Danach folgt der Teil, der eine Context Machine von einer bloßen Suche unterscheidet. Die Treffer werden neu sortiert, Doppeltes fliegt raus, alte Versionen werden aussortiert. Dazu kommen weitere Bausteine: der bisherige Gesprächsverlauf, feste Regeln für das Verhalten des Modells, und Ergebnisse von Werkzeugen wie Taschenrechnern oder Kalenderabfragen. Bei langen Unterhaltungen wird der ältere Teil zusammengefasst, damit er weniger Platz braucht. Erst dieses fertig zusammengeschnittene Paket geht an das Modell.

Wo diese Schicht bereits arbeitet

Jeder Chatbot auf einer Firmenwebsite, der die eigenen Preise und Lieferzeiten kennt, läuft auf so einer Schicht. Dasselbe gilt für Programmierassistenten, die den Code deines Projekts kennen, obwohl dieser Code nie Teil ihres Trainings war. Auch die Funktion, ein PDF hochzuladen und Fragen dazu zu stellen, ist im Kern eine kleine Context Machine.

In Wirtschaftsmeldungen taucht der Begriff meist im Zusammenhang mit Firmenwissen auf. Banken, Kanzleien und Behörden wollen KI nutzen, ohne ihre Daten in ein fremdes Training zu geben. Eine Context Machine ist dafür der übliche Weg: Die Daten bleiben in der eigenen Datenbank, das Modell sieht sie nur kurz für eine einzelne Antwort.

Ein verbreiteter Irrtum ist, riesige Kontextfenster machten diese Technik überflüssig. In der Praxis ist das Gegenteil zu beobachten. Je mehr Text ein Modell auf einmal bekommt, desto eher übersieht es Wichtiges in der Mitte. Auswählen bleibt also nötig, nur die Grenze verschiebt sich.