State-Space-Architektur
Die State-Space-Architektur ist ein Bauplan für KI-Modelle, die Texte oder Signale Schritt für Schritt lesen und dabei nur eine kompakte Zusammenfassung des Gelesenen mitführen. Sie gilt als Gegenentwurf zur heute üblichen Transformer-Bauweise, weil sie mit sehr langen Eingaben deutlich sparsamer umgeht.
Ein Sprachmodell muss beim Lesen eines Textes irgendwie behalten, was vorher stand. Die heute verbreiteten Modelle behalten dafür schlicht alles: jedes bisherige Wort bleibt greifbar und wird bei jedem neuen Wort erneut berücksichtigt. Die State-Space-Architektur macht es anders. Sie führt einen sogenannten Zustand mit, also eine feste, kompakte Zusammenfassung des bisher Gelesenen. Bei jedem neuen Wort wird dieser Zustand aktualisiert, und das alte Wort selbst wird nicht mehr gebraucht. Der Name kommt daher, dass das Modell sich immer in einem Punkt eines Raums möglicher Zustände befindet und sich in diesem Raum weiterbewegt.
Warum der feste Zustand Kosten spart
Der Vorteil zeigt sich bei langen Eingaben. Bei der üblichen Bauweise vergleicht das Modell jedes Wort mit jedem anderen. Verdoppelt man die Textlänge, vervierfacht sich der Rechenaufwand. Bei einem Buch mit hunderttausend Wörtern wird das schnell unbezahlbar. Eine State-Space-Architektur wächst dagegen nur linear: doppelt so viel Text, doppelt so viel Rechenzeit.
Genauso wichtig ist der Speicher. Übliche Modelle legen für jedes bisherige Wort Zwischenergebnisse ab, die im Grafikkartenspeicher liegen müssen. Diese Ablage wächst mit jedem Wort weiter. Ein State-Space-Modell braucht immer denselben Platz, egal ob es zehn oder zehntausend Wörter gelesen hat. Deshalb interessieren sich Firmen dafür, die KI auf Handys oder in Autos laufen lassen wollen, wo Speicher knapp ist.
Der Preis dafür ist ein echter Nachteil. Was einmal in die Zusammenfassung eingeschmolzen wurde, lässt sich nicht mehr exakt herausholen. Ein Modell mit vollem Zugriff auf alle Wörter kann eine Telefonnummer aus Seite eins wortwörtlich zitieren. Ein State-Space-Modell kann das nur, wenn es die Nummer für wichtig genug gehalten hat, sie im Zustand zu behalten.
Vom Zustand zum nächsten Wort
Man kann sich den Zustand wie die Mitschrift eines Zuhörers vorstellen. Der Zuhörer bekommt jeden Satz einmal zu hören und darf ein Blatt Papier mit fester Größe beschriften. Bei jedem neuen Satz entscheidet er, was er ergänzt und was er streicht, weil kein Platz mehr ist. Am Ende antwortet er nur anhand seiner Notizen, nicht anhand des Originals.
Mathematisch stecken dahinter Gleichungen aus der Regelungstechnik, also aus dem Fachgebiet, das etwa Autopiloten oder Heizungssteuerungen beschreibt. Dort gehört es seit Jahrzehnten zum Standard, ein System durch einen Zustand und eine Regel für dessen Veränderung zu beschreiben. Die KI-Forschung hat diese Regeln übernommen und die Zahlen darin lernbar gemacht. Das Modell lernt beim Training also selbst, was es sich merken soll und was es vergessen darf.
Frühe Varianten hatten eine feste Merkregel für jeden Eingabeschritt, was zu starr war. Die bekannteste heutige Variante heißt Mamba. Sie lässt die Merkregel von der Eingabe selbst abhängen. Ein bedeutungsloses Füllwort verändert den Zustand dann kaum, ein wichtiger Name stark. Genau dieser Trick brachte State-Space-Modelle erstmals in die Nähe der Qualität etablierter Sprachmodelle.
Wo diese Modelle heute auftauchen
In Produkten für Endnutzer begegnet man reinen State-Space-Modellen bisher selten. Verbreitet sind sie in Forschungsmodellen und in Mischformen, bei denen einige Schichten die klassische Bauweise nutzen und andere den Zustandstrick. Solche Hybride bieten unter anderem die KI-Firmen AI21, Nvidia und Mistral an. Der Grund für die Mischung ist die Arbeitsteilung: Der eine Teil merkt sich Details wortgenau, der andere trägt den langen Zusammenhang günstig mit.
Besonders passend ist die Architektur überall, wo Daten als lange, gleichmäßige Ströme anfallen. Beispiele sind Audioaufnahmen, Messwerte von Sensoren, Kursverläufe an Börsen oder DNA-Sequenzen mit Millionen Bausteinen. Bei solchen Datenmengen scheitern übliche Modelle an ihren Kosten, während ein fester Zustand einfach weiterläuft.
In Nachrichtenmeldungen tauchen die Begriffe State Space Model, SSM oder Mamba deshalb meist im Zusammenhang mit zwei Versprechen auf: sehr lange Eingaben und niedrige Betriebskosten. Ein häufiger Irrtum ist, die Architektur sei ein Ersatz für Transformer. Realistischer ist bislang die Ergänzung, und welche Bauweise sich langfristig durchsetzt, ist offen.