Context Engineering
Context Engineering ist die Kunst, einem KI-Textsystem genau die Informationen mitzugeben, die es für eine gute Antwort braucht – nicht mehr und nicht weniger. Es entscheidet oft stärker über die Qualität einer Antwort als die Wahl des Systems selbst.
Programme wie ChatGPT antworten auf Text, den man ihnen schickt. Dieser Text ist ihr einziger Blick auf die Welt: Was nicht darin steht, wissen sie in diesem Moment nicht. Die gesamte Menge an Text, die ein solches System bei einer Anfrage vor sich hat, nennt man den Kontext. Context Engineering bezeichnet die Arbeit, diesen Kontext bewusst zusammenzustellen. Dazu gehören die eigentliche Frage, Beispiele, Auszüge aus Dokumenten, frühere Nachrichten und Regeln für das Verhalten. Man baut also die Informationsmappe, in die das System schaut, bevor es losschreibt.
Warum die Mappe wichtiger ist als das Modell
In der Praxis scheitern KI-Anwendungen selten daran, dass das Sprachmodell zu dumm wäre. Sie scheitern daran, dass ihm eine entscheidende Information fehlte. Ein Assistent, der die Urlaubsregeln einer Firma nicht kennt, wird sie erfinden. Fachleute nennen solche erfundenen Angaben Halluzinationen. Sie verschwinden oft schlagartig, wenn die passenden Unterlagen im Kontext liegen.
Der Kontext ist außerdem begrenzt. Jedes System hat ein Maximum an Text, das es gleichzeitig verarbeiten kann, gemessen in Tokens – das sind Wortteile von etwa vier Zeichen Länge. Moderne Systeme schaffen mehrere hunderttausend davon, also ganze Bücher. Trotzdem ist der Platz nicht umsonst: Jedes zusätzliche Token kostet Rechenzeit und damit Geld.
Dazu kommt ein Effekt, den Forscher « Lost in the Middle » nennen. Informationen am Anfang und am Ende eines langen Kontexts werden zuverlässiger genutzt als solche in der Mitte. Mehr Text bedeutet also nicht automatisch bessere Antworten. Wer zwanzig Dokumente hineinkippt, statt die zwei richtigen auszuwählen, verschlechtert das Ergebnis oft sogar.
Woraus ein guter Kontext zusammengesetzt wird
Ganz vorne steht meist eine Systemanweisung. Sie legt Rolle, Tonfall und Grenzen fest, etwa: « Du bist ein Kundenservice-Assistent und gibst keine Rechtsberatung. » Danach folgen häufig ein paar Beispielantworten, damit das Format klar ist. Diese Technik heißt Few-Shot-Prompting und wirkt oft besser als eine lange Beschreibung in Worten.
Den größten Teil machen meist abgerufene Dokumente aus. Dafür nutzt man ein Verfahren namens RAG, kurz für Retrieval Augmented Generation. Eine Suchfunktion findet zur Nutzerfrage die passenden Textstellen aus einer Datenbank. Nur diese Stellen wandern in den Kontext, nicht die gesamte Datenbank. So bekommt das Modell aktuelles Firmenwissen, ohne dafür neu trainiert zu werden.
Bei langen Gesprächen kommt ein weiteres Problem dazu: Der Verlauf wächst mit jeder Nachricht. Irgendwann passt er nicht mehr hinein. Übliche Lösungen sind Zusammenfassungen älterer Abschnitte oder ein Notizspeicher, aus dem nur relevante Punkte zurückgeholt werden. Context Engineering ist deshalb kein einmaliges Schreiben eines Textes, sondern eine laufende Verwaltung von Speicherplatz.
Vom Prompt-Basteln zum eigenen Berufsbild
Um 2023 sprach man vor allem von Prompt Engineering, also vom geschickten Formulieren einzelner Fragen. Der Begriff Context Engineering hat ihn seither weitgehend abgelöst. Der Grund: Bei ernsthaften Anwendungen tippt niemand mehr von Hand. Ein Programm setzt den Kontext bei jeder Anfrage automatisch neu zusammen. Prompt Engineering ist damit nur noch ein Teilbereich des größeren Themas.
Am deutlichsten sichtbar wird das bei sogenannten Agenten. Das sind KI-Systeme, die mehrere Schritte hintereinander ausführen, etwa Suchen, Rechnen und E-Mails Verfassen. Nach jedem Schritt muss entschieden werden, welche Zwischenergebnisse im Kontext bleiben. Anbieter wie Anthropic und OpenAI veröffentlichen dazu inzwischen ausführliche Leitfäden.
Auch als normaler Nutzer betreibt man Context Engineering, ohne es so zu nennen. Wer einen Aufsatz zur Korrektur hochlädt und die Bewertungskriterien dazuschreibt, bekommt bessere Rückmeldung als mit der bloßen Bitte « Verbessere das ». Ein verbreiteter Irrtum ist, dass Höflichkeitsformeln oder dramatische Formulierungen viel bringen. Was wirklich hilft, sind konkrete Angaben: Ziel, Zielgruppe, Länge und Beispiele.