Autoregressives Modell

Ein autoregressives Modell ist ein Computerprogramm, das seine Ausgabe in kleinen Schritten aufbaut. Es sagt immer nur das nächste Element voraus, zum Beispiel das nächste Wort eines Satzes. Dieses Wort hängt es an das bisher Geschriebene an. Dann startet es die gleiche Rechnung erneut, jetzt mit dem verlängerten Text als Eingabe. So entsteht Schritt für Schritt eine ganze Antwort. Der Name kommt daher, dass das Programm sich auf seine eigenen früheren Ausgaben zurückbezieht: « auto » für selbst, « regressiv » für zurückgreifend.

Warum Chatbots Wort für Wort antworten

Dieses Prinzip erklärt eine Eigenschaft, die jeder kennt, der schon mit ChatGPT oder ähnlichen Diensten gearbeitet hat. Die Antwort erscheint nicht auf einen Schlag, sondern tröpfelt Wort für Wort auf den Bildschirm. Das ist kein Effekt fürs Auge. Der Text existiert in diesem Moment tatsächlich noch nicht vollständig, sondern wird gerade erzeugt.

Aus dem Verfahren folgt auch, wie die Kosten entstehen. Jedes einzelne Wort bedeutet einen kompletten Rechendurchlauf durch das Modell. Eine Antwort mit 500 Wörtern kostet also grob 500 Mal so viel Rechenzeit wie ein einzelnes Wort. Deshalb rechnen Anbieter ihre Preise nach Textmenge ab und nicht nach Anfragen.

Ein zweiter Punkt ist wichtiger, als er klingt. Das Modell plant seine Antwort nicht im Voraus. Es entscheidet in jedem Schritt neu, was am besten passt. Dass am Ende oft trotzdem ein sinnvoller Aufbau herauskommt, liegt daran, dass ein guter Anfang die passenden Fortsetzungen wahrscheinlich macht.

Wahrscheinlichkeiten statt fester Antworten

Das Modell zerlegt Text zunächst in kleine Einheiten. Diese Einheiten heißen Token und entsprechen oft einem kurzen Wort oder einer Silbe. Für jede Position berechnet das Modell dann eine Wahrscheinlichkeit für jedes Token seines Wortschatzes. Auf « Die Hauptstadt von Frankreich ist » bekommt « Paris » einen sehr hohen Wert, « Butter » einen sehr niedrigen.

Anschließend wird eines dieser Token ausgewählt. Man nimmt nicht immer das wahrscheinlichste, denn das führt zu steifen, sich wiederholenden Texten. Stattdessen wird gewürfelt, wobei wahrscheinliche Token häufiger gezogen werden. Eine Einstellung namens Temperatur steuert, wie stark der Zufall mitspielt. Deshalb gibt dasselbe Modell auf dieselbe Frage nicht jedes Mal exakt dieselbe Antwort.

Gelernt hat das Modell diese Wahrscheinlichkeiten aus riesigen Textmengen. Man verdeckte dort jeweils das nächste Wort und ließ es raten. Ein Nachteil des Verfahrens: Ein Fehler im dritten Satz bleibt stehen und beeinflusst alles Weitere. Das Modell kann nicht zurückgehen und den Anfang korrigieren.

Nicht nur Text: Musik, Code, Aktienkurse

Alle bekannten großen Sprachmodelle arbeiten autoregressiv, etwa die GPT-Reihe von OpenAI, Googles Gemini oder Metas Llama. Das Kürzel GPT steht für « Generative Pretrained Transformer », wobei « generativ » genau dieses Erzeugen von Neuem meint. Auch Programmierhilfen wie GitHub Copilot funktionieren so und schreiben Codezeile für Codezeile weiter.

Der Begriff ist älter als die KI-Welle. In der Statistik nutzt man autoregressive Modelle seit Jahrzehnten für Zeitreihen. Ein Beispiel ist eine Kursprognose, die aus den Werten der letzten Tage den nächsten Tag schätzt. Das Prinzip ist dasselbe, nur die Datenart unterscheidet sich.

Zur Abgrenzung lohnt ein Blick auf Bildgeneratoren wie Midjourney oder Stable Diffusion. Die meisten von ihnen sind nicht autoregressiv, sondern Diffusionsmodelle. Sie beginnen mit einem Rauschbild und schärfen das gesamte Bild in mehreren Runden gleichzeitig. In der Forschung wird gerade diskutiert, ob ein ähnlicher Ansatz auch bei Text schneller wäre als das Wort-für-Wort-Verfahren.