In-Context-Learning

Programme wie ChatGPT bekommen ihre Anweisungen als Text, den man eingibt. In diesen Text kann man nicht nur eine Frage schreiben, sondern auch ein paar gelöste Beispiele. Man zeigt also erst zwei oder drei Fälle mit der gewünschten Antwort und stellt danach die eigentliche Aufgabe. Das Programm erkennt daraus das Muster und bearbeitet die neue Aufgabe genauso. Genau dieses Verhalten nennt man In-Context-Learning, also Lernen aus dem mitgelieferten Text. Wichtig ist: Das Programm selbst verändert sich dabei nicht. Sobald die Eingabe weg ist, ist das Gelernte weg.

Warum Beispiele im Text billiger sind als Nachtraining

Früher musste man ein Modell für jede neue Aufgabe eigens nachtrainieren. Nachtrainieren heißt: Man verändert die inneren Zahlenwerte des Modells mit tausenden Beispielen. Das kostet Rechenzeit, Geld und Fachleute. Mit In-Context-Learning reicht oft ein gut geschriebener Text mit drei Beispielen. Aus einem Forschungsprojekt wird so eine Aufgabe von zehn Minuten.

Deshalb konnten Firmen ohne KI-Abteilung überhaupt anfangen, Sprachmodelle einzusetzen. Ein Steuerbüro kann dem Modell zeigen, wie es Rechnungen in eine Tabelle einsortieren soll. Eine Redaktion kann Überschriften in ihrem eigenen Stil vormachen. Es braucht kein Spezialmodell, sondern nur eine gute Eingabe.

Der zweite Grund ist wissenschaftlich interessant. Bei älteren Programmen war klar: Was nicht antrainiert wurde, kann das Programm nicht. Große Sprachmodelle lösen dagegen Aufgaben, die beim Training nie als eigene Übung vorkamen. Diese Fähigkeit tauchte erst auf, als die Modelle sehr groß wurden. Solche Sprünge nennt man in der Forschung emergente Fähigkeiten.

Muster erkennen statt Wissen abspeichern

Ein Sprachmodell macht im Kern immer dasselbe: Es sagt voraus, welches Wort als Nächstes wahrscheinlich ist. Dafür schaut es auf den gesamten Text, den es gerade vor sich hat. Stehen dort drei Beispiele nach dem Muster « Eingabe – Antwort », ist die wahrscheinlichste Fortsetzung eine vierte Antwort im gleichen Format. Das Modell ahmt also die Struktur nach, die es im Text sieht.

Man kann es mit einem Musiker vergleichen, der jahrelang Tonleitern und Stücke geübt hat. Spielt man ihm zwei Takte vor, kann er im gleichen Stil weiterspielen. Er lernt dabei nichts Neues, sondern nutzt Geübtes für ein vorgegebenes Muster. Vergisst er die Takte, ist der Effekt vorbei.

Daraus folgen die Grenzen. Der Kontext, also das Textfenster für Eingabe und Antwort, ist begrenzt. Passen nur einige Seiten hinein, kann man kein ganzes Lehrbuch als Beispielsammlung mitschicken. Außerdem wirkt die Reihenfolge der Beispiele: Manchmal ändert schon ein Tausch die Antwort. Und echtes Fachwissen entsteht so nicht. Wer dem Modell Fakten beibringen will, die es nicht kennt, braucht Nachtraining oder eine angeschlossene Datenbank.

Vom Chatfenster bis zur Firmensoftware

Jeder, der einem Chatbot schreibt « Formuliere so wie in diesem Beispiel », nutzt In-Context-Learning. In Fachtexten liest man dazu die Begriffe Zero-Shot, One-Shot und Few-Shot. Zero-Shot heißt: nur die Anweisung, kein Beispiel. Few-Shot heißt: einige Beispiele mitgeliefert. Diese Wörter tauchen häufig in Modellankündigungen und Benchmark-Tabellen auf.

In Produkten steckt das Verfahren oft unsichtbar drin. Ein Support-Werkzeug schickt vor jeder Kundenfrage automatisch mehrere Musterantworten mit. Der Nutzer sieht davon nichts, das Programm baut die Eingabe im Hintergrund zusammen. Der Berufszweig, der solche Eingaben entwirft und testet, heißt Prompt Engineering.

Ein häufiger Irrtum lautet, das Modell werde durch die Beispiele dauerhaft schlauer. Das ist falsch. Im nächsten Chat ohne diese Beispiele verhält es sich wieder wie vorher. Auch in Börsennachrichten spielt das eine Rolle: Große Kontextfenster sind ein Verkaufsargument der Anbieter, weil mehr Beispiele und Dokumente hineinpassen.