Mamba
Mamba ist eine Bauweise für KI-Sprachmodelle, die Text Wort für Wort durchläuft und dabei nur eine kompakte Zusammenfassung des Gelesenen mitführt. Sie gilt als Gegenentwurf zur bisher üblichen Transformer-Bauweise und ist bei sehr langen Texten deutlich schneller.
Mamba ist ein Bauplan für Programme, die Sprache verarbeiten. Solche Programme bekommen einen Text und sagen voraus, welches Wort als Nächstes passt. Damit das gelingt, müssen sie sich merken, was vorher im Text stand. Mamba löst dieses Merken auf eine besondere Art: Das Modell liest den Text von vorne nach hinten durch und führt dabei einen kleinen Notizzettel mit. Nach jedem Wort wird der Notizzettel aktualisiert, aber er wird nie länger. Die Bauweise wurde 2023 von Forschern der Universitäten Carnegie Mellon und Princeton vorgestellt und hat seitdem viel Aufmerksamkeit bekommen.
Der Streit um die Vorherrschaft des Transformers
Fast alle bekannten KI-Sprachmodelle beruhen auf einer Bauweise namens Transformer. Ein Transformer vergleicht beim Verarbeiten jedes Wort mit jedem anderen Wort im Text. Das funktioniert erstaunlich gut, hat aber einen teuren Nebeneffekt. Verdoppelt man die Textlänge, vervierfacht sich der Rechenaufwand. Bei einem einzelnen Satz merkt niemand etwas davon. Bei einem 500-Seiten-Buch wird es zum ernsten Problem.
Mamba wächst dagegen nur linear: Doppelt so viel Text bedeutet ungefähr doppelt so viel Rechenzeit, nicht das Vierfache. Bei sehr langen Eingaben ist Mamba deshalb um ein Vielfaches schneller als ein gleich großer Transformer. Genauso wichtig ist der Speicherbedarf. Ein Transformer muss beim Antworten alle bisherigen Wörter zwischenspeichern, Mamba nur seinen Notizzettel fester Größe.
Interessant ist das überall dort, wo lange Datenreihen anfallen. Dazu gehören Genome mit Millionen Bausteinen, Audioaufnahmen oder Messwerte aus Sensoren. Für die Branche steht außerdem eine grundsätzliche Frage im Raum. Ist der Transformer wirklich alternativlos, oder gibt es günstigere Wege zum gleichen Ziel?
Der Notizzettel und was darauf landet
Technisch gehört Mamba zu den Zustandsraummodellen, englisch state space models. Der Fachbegriff klingt kompliziert, meint aber genau den beschriebenen Notizzettel. Der Zustand ist eine feste Menge von Zahlen, die den bisherigen Text zusammenfassen. Für jedes neue Wort rechnet das Modell aus dem alten Zustand und dem Wort einen neuen Zustand aus.
Ältere Modelle dieser Art behandelten jedes Wort gleich und schnitten deshalb bei Sprache schlecht ab. Mambas entscheidende Neuerung heißt Selektivität. Das Modell entscheidet für jedes Wort neu, wie stark es den Zustand verändert. Ein Füllwort wie „und“ darf fast spurlos vorbeiziehen. Ein Name oder eine Zahl kann den Zustand kräftig umschreiben und bleibt dadurch lange erhalten.
Das Ganze wäre wertlos, wenn das Training zu langsam liefe. Ein Nacheinander-Durchlauf passt schlecht zu Grafikkarten, die tausende Rechnungen gleichzeitig erledigen. Die Mamba-Entwickler schrieben deshalb spezielle Programme, die den Zustand im schnellen Zwischenspeicher der Grafikkarte halten. Ein bekannter Nachteil bleibt trotzdem: Weil der Notizzettel nie wächst, kann Mamba nicht jedes Detail wörtlich behalten. Bei Aufgaben, die exaktes Zitieren aus einem langen Text verlangen, liegen Transformer oft vorn.
Mamba in echten Produkten und Meldungen
In Schlagzeilen taucht Mamba meist auf, wenn ein Labor ein neues Modell mit besonders großem Kontextfenster ankündigt. Das Kontextfenster ist die Textmenge, die ein Modell auf einmal überblicken kann. Das israelische Unternehmen AI21 veröffentlichte mit Jamba eines der ersten großen Modelle, das Mamba-Bausteine und Transformer-Bausteine mischt. Auch Nvidia und Mistral haben solche Mischmodelle vorgestellt.
Diese Mischung ist derzeit der übliche Weg. Reine Mamba-Modelle sind in der Praxis selten geblieben. Man kombiniert lieber wenige Transformer-Schichten für das genaue Nachschlagen mit vielen Mamba-Schichten für die Geschwindigkeit. Wer die Modellnamen liest, erkennt solche Bauweisen oft am Wortteil „hybrid“.
Als Nutzer merkt man von der Bauweise nichts direkt. Sie zeigt sich indirekt darin, wie viel Text ein Dienst annimmt und was er kostet. Ein häufiger Irrtum ist übrigens die Namensverwechslung: Mamba hat nichts mit der Programmiersprachen-Software Mamba für Paketverwaltung zu tun. Beide Namen stammen nur von derselben Schlange.