State-Space-Modell

Ein State-Space-Modell ist eine bestimmte Bauweise für lernende Computerprogramme, die Daten in einer festen Reihenfolge verarbeiten. Solche Daten sind zum Beispiel ein Text Wort für Wort, eine Tonaufnahme oder Messwerte über die Zeit. Das Programm geht die Eingabe Schritt für Schritt durch und merkt sich dabei einen sogenannten Zustand: eine feste Menge an Zahlen, die das Wichtigste vom bisher Gelesenen zusammenfasst. Bei jedem neuen Schritt wird dieser Zustand aktualisiert und daraus die Ausgabe berechnet. Der Trick liegt darin, dass der Zustand immer gleich groß bleibt, egal ob zehn oder zehntausend Wörter gelesen wurden. Man kann sich das wie einen Menschen vorstellen, der ein Buch liest und nach jeder Seite seine Notiz auf einem einzigen Zettel überarbeitet, statt jede Seite noch einmal nachzuschlagen.

Der Ausweg aus dem Längenproblem

Fast alle bekannten KI-Sprachmodelle beruhen heute auf einer anderen Bauweise, dem Transformer. Dort vergleicht das Modell bei jedem neuen Wort noch einmal alle vorherigen Wörter miteinander. Das liefert sehr gute Ergebnisse, wird aber schnell teuer. Verdoppelt man die Textlänge, vervierfacht sich grob der Rechenaufwand. Bei sehr langen Eingaben wird das zum echten Kostenproblem.

Ein State-Space-Modell wächst dagegen nur linear: doppelt so viel Text bedeutet ungefähr doppelt so viel Rechenzeit. Außerdem braucht es keinen wachsenden Zwischenspeicher für alle bisherigen Wörter. Genau dieser Speicher ist bei Transformern oft der Engpass, wenn ein Chatbot ein langes Gespräch fortsetzen soll. Deshalb gelten State-Space-Modelle als aussichtsreicher Kandidat für Aufgaben mit sehr langen Eingaben.

Interessant sind sie auch für kleine Geräte. Ein Modell, das mit wenig Speicher auskommt, lässt sich eher direkt auf einem Handy oder in einem Auto betreiben. Das spart Kosten und schützt Daten, weil nichts an einen fremden Server geschickt werden muss.

Zustand, Filter und ein bisschen Mathematik

Die Idee stammt ursprünglich aus der Regelungstechnik, also aus der Steuerung von Maschinen. Dort beschreibt man ein System durch seinen Zustand und durch Regeln, wie sich dieser Zustand verändert. Ein Beispiel ist ein Autopilot, der Position und Geschwindigkeit eines Flugzeugs mitführt. Die KI-Variante übernimmt diese Mathematik und lässt die Regeln aus Daten lernen, statt sie von Hand festzulegen.

Konkret gibt es drei Arten von Zahlentabellen: eine bestimmt, wie stark alte Informationen verblassen, eine, wie neue Eingaben in den Zustand fließen, und eine, wie aus dem Zustand die Ausgabe entsteht. Frühe Versionen hatten hier ein Problem: Informationen verschwanden nach wenigen Schritten. Neuere Ansätze wie S4 lösen das durch eine geschickt gewählte Startbelegung dieser Tabellen.

Ein weiterer Schritt kam mit dem Modell Mamba aus dem Jahr 2023. Dort hängen die Regeln vom aktuellen Wort ab. Das Modell kann also entscheiden, ob es etwas in den Zustand aufnimmt oder ignoriert. Ein häufiger Irrtum ist übrigens, State-Space-Modelle seien einfach die alten rückgekoppelten Netze von früher. Der Unterschied: Das Training lässt sich hier in eine Form bringen, die moderne Grafikkarten parallel abarbeiten können.

Wo die Technik heute auftaucht

In reiner Form begegnen dir State-Space-Modelle im Alltag noch selten. Große Chatbots wie ChatGPT oder Claude beruhen weiterhin überwiegend auf Transformern. In Fachnachrichten tauchen die Namen Mamba, S4 oder Jamba aber regelmäßig auf, wenn es um lange Kontexte oder um schnellere Modelle geht.

Verbreitet sind inzwischen Mischformen, sogenannte Hybridmodelle. Sie kombinieren viele State-Space-Schichten mit einigen wenigen Transformer-Schichten. So bekommt man die Geschwindigkeit der einen Bauweise und die Genauigkeit der anderen. Mehrere KI-Unternehmen haben solche Hybride bereits veröffentlicht.

Besonders vielversprechend ist die Technik dort, wo Daten in sehr langen Strömen anfallen: in der Analyse von Genabschnitten, bei Audiosignalen, bei Sensordaten aus Fabriken oder in der Medizin. Wenn du also in einer Meldung liest, ein Modell verarbeite Millionen Zeichen am Stück, steckt oft eine State-Space-Komponente dahinter.