Recurrent Depth
Recurrent Depth ist ein Bauprinzip für KI-Modelle, bei dem dieselbe Rechenschicht mehrfach hintereinander durchlaufen wird, statt viele verschiedene Schichten zu stapeln. So kann ein Modell bei schweren Aufgaben länger nachdenken, ohne größer zu werden.
Ein Sprachmodell ist ein Computerprogramm, das Texte fortsetzt und dabei aus riesigen Textmengen gelernt hat. Im Inneren besteht es aus vielen Rechenstufen, die nacheinander durchlaufen werden. Normalerweise hat jede Stufe ihre eigenen gelernten Einstellwerte, und der Text wandert genau einmal von unten nach oben durch. Recurrent Depth bricht mit dieser Regel: Eine Gruppe von Stufen wird im Kreis mehrfach durchlaufen, immer mit denselben Einstellwerten. Das Zwischenergebnis geht also wieder in denselben Rechenblock hinein. Wie oft das passiert, kann man beim Betrieb festlegen, statt es beim Bau des Modells fest einzugießen.
Denkzeit statt Modellgröße
Lange galt eine einfache Regel: Wer mehr Leistung will, baut ein größeres Modell. Mehr Stufen und mehr gelernte Einstellwerte bedeuten aber auch mehr Speicher, mehr Strom und teurere Grafikkarten. Recurrent Depth bietet einen anderen Hebel. Das Modell bleibt klein, bekommt aber pro Anfrage mehr Rechenrunden. Man kauft Qualität mit Zeit ein, nicht mit Hardware.
Besonders attraktiv ist, dass sich der Aufwand pro Aufgabe steuern lässt. Eine Frage nach der Hauptstadt von Frankreich braucht vielleicht zwei Runden. Eine verschachtelte Logikaufgabe bekommt zwanzig. Ein klassisches Modell rechnet dagegen für beide Fragen exakt gleich lang, egal ob sie trivial oder knifflig ist. Diese Anpassbarkeit nennt man adaptive Rechenzeit.
Interessant ist der Ansatz auch, weil das Nachdenken unsichtbar bleibt. Bei der bekannteren Methode Chain of Thought schreibt ein Modell seine Zwischenschritte als Text aus und liest sie wieder ein. Bei Recurrent Depth passiert das Zwischendenken in Zahlenvektoren im Inneren des Modells. Forscher sprechen deshalb von latentem Schlussfolgern. Es ist schneller, weil keine Wörter erzeugt werden müssen, aber schwerer nachvollziehbar.
Die Schleife im Inneren
Der Aufbau besteht meist aus drei Teilen. Ein Eingangsblock wandelt den Text in Zahlen um. Darauf folgt der wiederholte Block, der Kern des Verfahrens. Ein Ausgangsblock übersetzt das Endergebnis zurück in Wörter. Nur der mittlere Block läuft mehrfach, und zwar immer mit denselben gelernten Werten.
Man kann sich das wie das Überarbeiten eines Aufsatzes vorstellen. Statt fünfzig verschiedene Lehrer nacheinander drüberschauen zu lassen, liest derselbe Lehrer den Text fünfzigmal und verbessert jedes Mal ein bisschen. Der Speicherbedarf entspricht einem Lehrer, die Sorgfalt der von fünfzig Durchgängen. Genau das ist der Tausch, den Recurrent Depth macht: wenig Speicher, viel Rechenzeit.
Beim Training wird die Zahl der Runden zufällig variiert, damit das Modell mit unterschiedlich vielen Durchgängen umgehen lernt. Ein typisches Problem ist, dass das Zwischenergebnis nach vielen Runden entgleist oder sich in einer Schleife festfährt. Manche Systeme prüfen deshalb, ob sich das Ergebnis kaum noch ändert, und brechen dann ab. Der bekannteste Vertreter ist das Forschungsmodell Huginn mit rund 3,5 Milliarden Einstellwerten, das durch viele Runden Aufgaben löste, an denen deutlich größere Modelle scheiterten.
Vom Forschungspapier in die Rechenzentren
Recurrent Depth ist bislang vor allem ein Thema in Forschungsarbeiten und in Fachnachrichten über KI-Architekturen. In Meldungen taucht es oft zusammen mit Begriffen wie Test-Time Compute oder Reasoning-Modellen auf. Gemeint ist immer dieselbe Grundidee: Ein Modell soll bei schweren Fragen länger arbeiten dürfen. Wer solche Artikel liest, erkennt den Ansatz an Formulierungen wie Modelle, die im Kopf denken.
Wirtschaftlich ist der Ansatz vor allem für Geräte interessant, die wenig Speicher haben. Ein Handy oder ein Auto kann kein Modell mit hunderten Milliarden Werten laden. Ein kleines Modell mit vielen Rechenrunden passt dagegen hinein. Anbieter von Chips und Cloud-Rechenleistung beobachten das genau, weil es die Nachfrage verschiebt: weg von riesigem Speicher, hin zu schneller Rechenleistung.
Ein häufiger Irrtum ist, Recurrent Depth mit den alten rekurrenten Netzen der 2010er-Jahre zu verwechseln. Jene liefen Wort für Wort durch einen Satz, also der Länge des Textes nach. Hier läuft die Schleife dagegen in der Tiefe, also durch die Rechenstufen. Beides heißt rekurrent, meint aber verschiedene Richtungen.