Rekurrentes neuronales Netz
Ein rekurrentes neuronales Netz ist ein Computerprogramm, das Daten Schritt für Schritt verarbeitet und sich dabei merkt, was vorher kam. Diese Bauweise war lange der Standard für Sprache, Text und Zeitreihen, wurde aber ab 2017 weitgehend von neueren Verfahren verdrängt.
Manche Daten haben eine feste Reihenfolge. Ein Satz besteht aus Wörtern, die nacheinander kommen. Ein Aktienkurs besteht aus Preisen, die nacheinander gemessen wurden. Ein rekurrentes neuronales Netz ist ein lernfähiges Computerprogramm, das solche Folgen Schritt für Schritt abarbeitet. Nach jedem Schritt speichert es eine Art Kurznotiz über alles, was es bisher gesehen hat. Diese Notiz fließt in den nächsten Schritt wieder ein. Genau daher kommt das Wort rekurrent: Das Programm greift auf sein eigenes vorheriges Ergebnis zurück.
Warum Reihenfolge überhaupt ein Problem ist
Ältere Programme dieser Art bekamen immer eine feste Menge an Daten auf einmal, zum Beispiel ein Bild mit einer festen Zahl an Bildpunkten. Bei Sprache funktioniert das schlecht. Sätze sind mal fünf Wörter lang, mal fünfzig. Ein rekurrentes Netz hat dieses Problem nicht, weil es einfach so lange weiterläuft, wie Daten da sind.
Dazu kommt die Bedeutung der Position. Die Sätze „Der Hund beißt den Mann“ und „Der Mann beißt den Hund“ enthalten dieselben Wörter. Ihre Bedeutung ist trotzdem völlig verschieden. Ein Modell, das Wörter nur als ungeordneten Haufen betrachtet, kann diesen Unterschied nicht erfassen. Rekurrente Netze waren der erste breit einsetzbare Ansatz, der Reihenfolge ernst nahm.
Deshalb steckten sie ab etwa 2014 in fast jedem Sprachprodukt. Maschinelle Übersetzung, Spracherkennung am Telefon und die Wortvorschläge auf der Handytastatur liefen über diese Bauweise. Auch heute noch sind sie in vielen älteren Systemen im Einsatz, die niemand ohne guten Grund umbaut.
Die Schleife und ihr Gedächtnisproblem
Der Kern ist eine Schleife. Das Netz nimmt das erste Wort und rechnet daraus einen Zustand aus, also eine Liste von Zahlen. Beim zweiten Wort rechnet es erneut, benutzt aber diesmal das Wort und den alten Zustand gemeinsam. So entsteht ein neuer Zustand, und das wiederholt sich bis zum Satzende. Man kann sich das wie jemanden vorstellen, der beim Zuhören ständig seine Notiz überschreibt, statt jedes Wort einzeln aufzuheben.
Diese Notiz hat eine feste Größe. Ein langer Text muss also in dieselbe Zahlenliste passen wie ein kurzer. In der Praxis überschreibt jeder neue Schritt einen Teil des alten Inhalts. Nach vierzig oder fünfzig Wörtern ist vom Anfang kaum noch etwas übrig. Fachleute nennen dieses Verschwinden von Information das Problem der verschwindenden Gradienten.
Gegen dieses Vergessen wurden verbesserte Varianten entwickelt, vor allem LSTM und GRU. Beide bauen kleine Schalter ein, die entscheiden, welche Information behalten und welche gelöscht wird. Das half deutlich, löste das Problem aber nicht ganz. Ein zweiter Nachteil blieb ohnehin bestehen: Weil jeder Schritt auf den vorherigen wartet, lässt sich die Rechnung schlecht auf viele Prozessoren verteilen.
Vom Standard zur Fußnote in KI-News
Genau an diesem Punkt setzte 2017 der Transformer an, die Architektur hinter ChatGPT und ähnlichen Systemen. Er schaut auf alle Wörter gleichzeitig statt nacheinander. Das lässt sich auf tausenden Grafikkarten parallel rechnen und macht das Training riesiger Modelle erst möglich. Innerhalb weniger Jahre verdrängte er rekurrente Netze aus fast allen großen Sprachanwendungen.
Verschwunden sind sie trotzdem nicht. Bei kurzen Folgen und knapper Rechenleistung sind sie oft die bessere Wahl. Sensoren in Maschinen, Herzschlagüberwachung in Kliniken oder kleine Modelle direkt auf einem Gerät nutzen sie weiterhin. Sie brauchen wenig Speicher und liefern Ergebnisse sofort, während neue Daten eintreffen.
In Nachrichten taucht der Begriff heute vor allem als Vergleichspunkt auf. Wenn von neuen Architekturen wie Mamba oder anderen sogenannten State-Space-Modellen die Rede ist, heißt es oft, sie brächten die Idee der Rekurrenz zurück. Der Grund ist wirtschaftlich: Transformer werden bei sehr langen Texten teuer, schrittweise Verfahren nicht. Ein häufiger Irrtum ist deshalb, rekurrente Netze für endgültig überholt zu halten.