Recurrent Looped Transformer

Sprachmodelle wie ChatGPT bestehen aus vielen gleichartigen Rechenschichten. Ein Text läuft von unten nach oben durch diese Schichten, und jede verfeinert die Zwischenergebnisse ein Stück. Normalerweise hat jede Schicht ihre eigenen gelernten Einstellwerte, und jede wird genau einmal durchlaufen. Ein Recurrent Looped Transformer bricht mit dieser Regel: Er nimmt eine kleine Gruppe von Schichten und schickt die Daten mehrfach durch dieselbe Gruppe. Die Schleife kann zwei Runden lang sein oder zwanzig. Das Modell rechnet dadurch länger, bleibt aber gleich groß, weil keine neuen Einstellwerte dazukommen.

Denkzeit statt Modellgröße

Jahrelang galt in der KI-Entwicklung eine einfache Regel: Mehr Können bekommt man durch mehr Größe. Man stapelte mehr Schichten und speicherte mehr gelernte Zahlen, die sogenannten Parameter. Das treibt aber die Kosten in die Höhe. Ein Modell mit doppelt so vielen Parametern braucht doppelt so viel Speicher auf den teuren Grafikkarten, die solche Systeme antreiben.

Die Schleife verschiebt diesen Kompromiss. Ein Modell mit sechs Schichten, das vier Runden dreht, rechnet ungefähr so viel wie ein Modell mit 24 Schichten. Es belegt aber nur den Speicher von sechs. Für Geräte mit wenig Speicher, etwa Smartphones, ist das ein echter Vorteil.

Besonders interessant ist ein zweiter Punkt: Die Zahl der Runden lässt sich nach dem Training noch ändern. Eine leichte Frage bekommt zwei Runden, eine Mathematikaufgabe zwölf. Das Modell kann also seinen Aufwand an die Schwierigkeit anpassen. In der Forschung heißt dieses Prinzip adaptive Rechentiefe.

Was in der Schleife passiert

Man kann sich den Vorgang wie das mehrfache Überarbeiten eines Aufsatzes vorstellen. Beim ersten Durchgang entsteht ein grober Entwurf. Beim zweiten Durchgang liest dieselbe Person den Text erneut und bessert nach. Es ist nicht jedes Mal ein neuer Korrektor, sondern immer derselbe – nur mit einem besseren Text vor sich.

Technisch bedeutet das: Die Ausgabe der letzten Schicht im Block wird wieder zur Eingabe der ersten Schicht desselben Blocks. Damit das Modell nicht durcheinanderkommt, bekommt es meist einen Zähler mitgegeben, der die aktuelle Rundennummer angibt. So kann es in frühen Runden anders arbeiten als in späten. Trainiert wird das Ganze mit einer wechselnden Rundenzahl, damit das Modell mit vielen Schleifentiefen zurechtkommt.

Der Preis ist Rechenzeit. Zwölf Runden dauern zwölfmal so lange wie eine. Gespart wird Speicher, nicht Zeit. Außerdem gibt es eine Grenze: Ab einer gewissen Rundenzahl verbessert sich das Ergebnis kaum noch oder wird sogar schlechter, weil sich die Zwischenergebnisse aufschaukeln. Ein verbreiteter Irrtum ist deshalb, mehr Schleifen seien immer besser.

Verwandte Ideen und aktuelle Modelle

Der Begriff taucht vor allem in Forschungsarbeiten und Fachnews auf, seltener in der Werbung für fertige Produkte. Ein bekanntes Beispiel ist Googles Modellfamilie mit geteilten Schichten sowie das Forschungsmodell Huginn, das seine Schleifen ausdrücklich als « latentes Denken » bezeichnet. Auch mehrere chinesische Labore haben 2024 und 2025 Varianten veröffentlicht.

Abgrenzen sollte man das von den sogenannten Reasoning-Modellen. Die denken ebenfalls länger nach, schreiben ihre Zwischenschritte aber als sichtbaren Text auf. Ein Looped Transformer denkt dagegen intern, in Zahlen, ohne Worte. Beides kann man kombinieren, es ist aber nicht dasselbe.

Wirtschaftlich ist der Ansatz vor allem für KI auf dem Gerät spannend. Wer ein Modell direkt auf einem Handy laufen lassen will, kämpft mit knappem Speicher, hat aber oft etwas Geduld. Genau dafür passt das Tauschgeschäft der Schleife. Wenn in Meldungen von « kleinen Modellen mit großer Leistung » die Rede ist, steckt manchmal diese Technik dahinter.