Mamba-2
Mamba-2 ist ein Bauplan für Sprachmodelle, der Text nicht als Ganzes vergleicht, sondern ihn Wort für Wort durchliest und dabei eine Art Gedächtnis fester Größe fortschreibt. Dadurch bleibt die Rechenzeit auch bei sehr langen Texten überschaubar — anders als bei der heute üblichen Transformer-Bauweise.
Mamba-2 ist ein Bauplan für Programme, die Sprache verarbeiten. Solche Programme lesen einen Text und sagen voraus, welches Wort als Nächstes passt. Die meisten bekannten Systeme dieser Art vergleichen dafür jedes Wort mit jedem anderen Wort im Text. Das wird sehr teuer, sobald der Text lang ist: bei doppelter Länge vervierfacht sich der Aufwand. Mamba-2 geht anders vor. Es liest den Text von vorne nach hinten durch und führt dabei eine Art Notizzettel mit, der immer gleich groß bleibt. Die Architektur wurde 2024 von Forschern der Universitäten Princeton und Carnegie Mellon veröffentlicht, als Nachfolger des ein Jahr älteren Modells Mamba.
Was der feste Notizzettel für lange Texte bedeutet
Der Aufwand ist der eigentliche Punkt. Ein übliches Sprachmodell muss beim Schreiben jedes neuen Wortes den kompletten bisherigen Text noch einmal durchsehen. Je länger das Gespräch, desto langsamer und teurer wird jede weitere Antwort. Mamba-2 sieht dagegen nur auf seinen Notizzettel. Der ist nach zehn Wörtern genauso groß wie nach hunderttausend.
Praktisch heißt das: Ein solches Modell kann ein ganzes Buch, einen langen Programmcode oder eine stundenlange Gesprächsaufzeichnung verarbeiten, ohne dass die Kosten explodieren. Genau daran arbeiten viele Firmen gerade, weil Nutzer immer längere Dokumente in Chatbots hineinkopieren. Auch der Speicherbedarf beim Antworten bleibt konstant, was kleine Geräte wie Handys interessant macht.
Der Preis dafür ist ein Nachteil beim genauen Erinnern. Weil alles Gelesene in einen Notizzettel fester Größe gepresst wird, geht Detail verloren. Soll das Modell eine bestimmte Zahl aus Seite 300 wörtlich wiedergeben, tut sich die klassische Bauweise leichter. Deshalb kombinieren viele aktuelle Modelle beide Ansätze.
Zustand, Auswahl und der Trick mit den Matrizen
Der Notizzettel heißt fachlich Zustand. Bei jedem neuen Wort passiert zweierlei: Der alte Zustand wird ein Stück weit verblasst, und neue Information wird hineingemischt. Wie stark verblasst und wie stark gemischt wird, entscheidet das Modell für jedes Wort neu. Diese Fähigkeit nennt man Selektivität, und sie war die Hauptneuerung des ersten Mamba. Unwichtige Füllwörter kann das Modell dadurch fast ignorieren, wichtige Namen bleiben lange erhalten.
Die zentrale Idee von Mamba-2 heißt State Space Duality, kurz SSD. Die Forscher zeigten, dass dieses schrittweise Durchlesen mathematisch dasselbe ist wie eine große Multiplikation von Zahlentabellen, sogenannten Matrizen. Solche Multiplikationen sind genau das, wofür Grafikkarten gebaut sind. Beim Training kann man die Matrizenform benutzen und den ganzen Text parallel verarbeiten. Beim Antworten benutzt man die schrittweise Form und spart Speicher.
Damit das schnell wird, verzichtet Mamba-2 auf etwas Flexibilität gegenüber Mamba-1: Der Zustand ist einfacher aufgebaut, dafür deutlich größer und die Trainingsschleife läuft laut den Autoren zwei- bis achtmal schneller. Ein häufiger Irrtum ist übrigens, Mamba-2 sei ein fertiger Chatbot. Es ist nur die Architektur, also der Bauplan — das Wissen entsteht erst durch Training auf Textdaten.
Mamba-2 in echten Modellen und in Nachrichten
In Produkten trifft man Mamba-2 selten in Reinform, sondern meist als Mischung. Bei solchen Hybridmodellen ist nur jede vierte oder fünfte Schicht eine klassische Vergleichsschicht, der Rest arbeitet nach Mamba-Prinzip. Bekannte Beispiele sind Jamba des israelischen Unternehmens AI21 Labs, die Nemotron-Modelle von Nvidia und Codestral Mamba des französischen Anbieters Mistral. Diese Modelle werben ausdrücklich mit sehr langen Eingabefenstern.
In Fachnachrichten taucht der Name meist im Zusammenhang mit Stichworten wie Kontextlänge, Inferenzkosten oder Alternativen zum Transformer auf. Wenn eine Firma verkündet, ihr Modell verarbeite hunderttausende Wörter zu geringen Kosten, steckt oft eine solche Architektur dahinter. Wer die Grundidee kennt, versteht auch, warum solche Ankündigungen realistisch sein können.
Für dich als Nutzer ist der Unterschied unsichtbar. Du merkst ihn höchstens daran, dass ein Modell auch nach langen Gesprächen noch zügig antwortet oder auf einem Notebook ohne Internetverbindung läuft. Ob das Ergebnis inhaltlich besser ist, hängt weiterhin vor allem vom Training ab, nicht allein vom Bauplan.