Autoregressiver Prior

Viele KI-Systeme speichern ein Bild oder einen Ton nicht als Rohdaten, sondern als kurze Zahlenfolge, eine Art Kurzbeschreibung. Um daraus neue Inhalte zu erzeugen, muss das System wissen, welche Zahlenfolgen überhaupt sinnvoll sind und welche nur Rauschen ergeben. Genau diese Erwartung nennt man in der Statistik einen Prior, also eine Vorannahme darüber, was wahrscheinlich ist. Ein autoregressiver Prior baut diese Vorannahme schrittweise auf: Er sagt jeden Wert der Folge aus den vorherigen Werten voraus. Das Wort autoregressiv heißt genau das — das Modell greift auf seine eigene bisherige Ausgabe zurück. Man kann es sich wie einen Satz vorstellen, bei dem jedes Wort aus dem Anfang des Satzes erschlossen wird.

Warum Kurzbeschreibungen eine Erwartung brauchen

Ein Modell, das Bilder komprimiert, erzeugt zum Beispiel ein Raster aus 32 mal 32 Codes. Rein rechnerisch gibt es dafür astronomisch viele Kombinationen. Aber nur ein winziger Bruchteil davon ergibt ein Bild, das wie ein Foto aussieht. Ohne eine gelernte Erwartung würde ein System also fast immer Unsinn erzeugen.

Der autoregressive Prior schließt genau diese Lücke. Er lernt aus vielen Beispielen, welche Codes typischerweise nebeneinander stehen. Ein blauer Himmelsbereich folgt eher auf einen anderen blauen Himmelsbereich als auf ein Stück Autoreifen. Beim Erzeugen neuer Inhalte wird deshalb nur aus dem plausiblen Bereich gezogen.

Ein zweiter Grund ist Kompression. Wer gut vorhersagen kann, was als Nächstes kommt, braucht wenige Bits, um die Abweichung zu speichern. Moderne Bild- und Videokompression nutzt dieses Prinzip direkt. Je besser der Prior, desto kleiner die Datei bei gleicher Qualität.

Vorhersage Schritt für Schritt

Das Verfahren läuft meist in zwei Stufen. Zuerst lernt ein Encoder, Daten in eine kurze Codefolge zu übersetzen, und ein Decoder, daraus wieder ein Bild zu bauen. Erst danach wird ein zweites Modell auf diese Codefolgen trainiert. Dieses zweite Modell ist der Prior.

Beim Training bekommt der Prior einen Ausschnitt der Folge und soll den nächsten Wert erraten. Er gibt keine feste Antwort aus, sondern eine Wahrscheinlichkeitsverteilung über alle möglichen Werte. Der Fehler zwischen Vorhersage und tatsächlichem Wert wird gemessen und die Gewichte werden angepasst. Nach vielen Durchläufen kennt das Modell die typischen Muster.

Beim Erzeugen dreht man den Ablauf um. Das Modell zieht einen Wert aus seiner Verteilung, hängt ihn an die Folge an und sagt den nächsten voraus. So entsteht die komplette Codefolge, die der Decoder anschließend in ein Bild verwandelt. Der Nachteil liegt auf der Hand: Weil jeder Schritt auf dem vorherigen aufbaut, lässt sich das Erzeugen kaum parallelisieren. Genau hier sind Diffusionsmodelle im Vorteil, die eine ganze Ausgabe gleichzeitig verfeinern statt sie Wert für Wert aufzubauen.

In Bildgeneratoren, Sprachsynthese und Codecs

Bekannt wurde das Prinzip durch Modelle wie VQ-VAE-2 und DALL·E in seiner ersten Version. Beide erzeugten Bilder, indem ein autoregressives Modell eine Codefolge schrieb, die dann in Pixel übersetzt wurde. Auch in der Sprachsynthese ist die Technik verbreitet: Systeme sagen Tonabschnitte nacheinander voraus und erzeugen so natürlich klingende Stimmen.

In Nachrichten taucht der Begriff oft im Zusammenhang mit neuronaler Kompression auf. Firmen werben damit, Video bei gleicher Bildqualität deutlich kleiner zu speichern als klassische Verfahren. Der Rechenaufwand dafür ist allerdings hoch, weshalb solche Codecs bisher selten auf normalen Geräten laufen.

Ein häufiger Irrtum ist, den autoregressiven Prior mit dem eigentlichen Generator zu verwechseln. Der Prior erzeugt keine Bilder, sondern nur die Codefolge. Erst der Decoder macht daraus etwas Sichtbares. Beide Teile werden getrennt trainiert und lassen sich auch getrennt austauschen.