RoPE
RoPE (Rotary Position Embedding) ist ein Verfahren, mit dem Sprachmodelle lernen, die Reihenfolge von Wörtern zu verstehen. Es kodiert die Position jedes Wortes so in die Berechnungen ein, dass das Modell erkennt, wie weit zwei Wörter voneinander entfernt stehen — nicht nur, wo sie absolut im Satz stehen.
Ein Sprachmodell liest keinen Text so wie ein Mensch — von links nach rechts, Wort für Wort. Es verarbeitet alle Wörter gleichzeitig. Das ist schnell, hat aber einen Haken: Das Modell weiß ohne Hilfsmittel nicht, welches Wort an welcher Stelle stand. « Der Hund beißt den Mann » und « Der Mann beißt den Hund » enthalten dieselben Wörter, bedeuten aber etwas anderes. Um diesen Unterschied zu erfassen, braucht jedes Modell eine Methode, Positionen zu kodieren — also festzuhalten, an welchem Platz im Satz ein Wort steht. RoPE, kurz für Rotary Position Embedding, ist eine solche Methode. Sie wird heute in den meisten modernen Sprachmodellen eingesetzt, unter anderem in den Llama- und Mistral-Modellen.
RoPEs Rolle in modernen Sprachmodellen
Ob ein Modell einen Text versteht, hängt stark davon ab, ob es Beziehungen zwischen Wörtern korrekt einordnen kann. Subjekt und Verb, Frage und Antwort, Ursache und Wirkung — all das ist im Text durch die Reihenfolge der Wörter kodiert. Ohne Positionsinformation würde das Modell diese Struktur schlicht übersehen.
Frühere Verfahren haben Positionsinformationen einmalig beim Training fest eingebaut. Das führte zu einem praktischen Problem: Das Modell konnte nur so lange Texte verarbeiten, wie es im Training gesehen hatte. Längere Texte überforderten es. RoPE löst dieses Problem eleganter, weil die Positionskodierung nicht an absolute Zahlen gebunden ist, sondern an relative Abstände — also daran, wie weit zwei Wörter voneinander entfernt sind.
Das macht RoPE besonders nützlich für sogenannte lange Kontextfenster, also Modelle, die sehr viele Wörter auf einmal verarbeiten können. Ein Modell mit einem Kontextfenster von 128.000 Token — grob gesagt: rund 100.000 Wörter — ist ohne robuste Positionskodierung kaum vorstellbar.
Rotation als Positionskodierung
Sprachmodelle stellen Wörter intern als lange Listen von Zahlen dar, sogenannte Vektoren. Man kann sich einen solchen Vektor wie einen Pfeil in einem mehrdimensionalen Raum vorstellen. RoPE dreht diesen Pfeil um einen bestimmten Winkel — abhängig davon, an welcher Position das Wort im Text steht. Wort Nummer eins wird um einen kleinen Winkel gedreht, Wort Nummer zwei um einen etwas größeren, und so weiter.
Der entscheidende mathematische Vorteil: Wenn das Modell zwei Wörter miteinander vergleicht — das geschieht in einem Mechanismus namens Attention, also Aufmerksamkeit —, heben sich die absoluten Drehungen teilweise auf. Was übrig bleibt, ist der relative Abstand zwischen den beiden Wörtern. Das Modell weiß also nicht nur, dass Wort A an Position 17 steht und Wort B an Position 42, sondern vor allem: Die beiden Wörter sind 25 Positionen voneinander entfernt.
Diese Eigenschaft lässt sich auch auf Texte ausdehnen, die länger sind als alles, was das Modell im Training gesehen hat. Verschiedene Techniken wie YaRN oder LongRoPE erweitern diesen Ansatz gezielt, damit Modelle noch längere Texte verarbeiten können, ohne komplett neu trainiert werden zu müssen.
RoPE in der Praxis und in den News
Wer einen modernen KI-Assistenten nach dem Inhalt eines langen Dokuments fragt, profitiert direkt von RoPE. Modelle wie Metas Llama 3 oder Mistral nutzen es standardmäßig. Die Fähigkeit, ein gesamtes Buch oder einen langen Code-Abschnitt auf einmal zu verarbeiten, hängt wesentlich davon ab, dass die Positionskodierung bei großen Textlängen nicht zusammenbricht.
In Tech-News taucht RoPE meist im Zusammenhang mit Kontextfensterlängen auf. Wenn ein Anbieter ankündigt, sein Modell verarbeite jetzt eine Million Token, ist die zugrunde liegende Positionskodierung — und wie gut sie skaliert — eine der zentralen technischen Fragen dahinter. RoPE ist dabei derzeit die vorherrschende Antwort.
Ein häufiger Irrtum: Viele denken, ein größeres Kontextfenster bedeute automatisch, dass das Modell den gesamten Inhalt gleich gut versteht. Das stimmt nicht ganz. Auch mit RoPE können Modelle Informationen, die sehr weit voneinander entfernt im Text stehen, schlechter verknüpfen als nahe beieinander liegende. RoPE löst das Positionsproblem — aber es ist kein Garant dafür, dass das Modell einen 100.000-Wörter-Text genauso präzise versteht wie einen kurzen Absatz.