Dense Transformer

Ein Sprachmodell ist ein Programm, das gelernt hat, Texte fortzusetzen. Sein Wissen steckt in Milliarden einstellbarer Zahlen, den sogenannten Parametern. Diese Parameter sind in Schichten angeordnet, die eine Eingabe Schritt für Schritt weiterverarbeiten. Ein Dense Transformer ist ein solches Modell in seiner ursprünglichen Bauform: Jede einzelne Anfrage läuft durch sämtliche Parameter des Modells. Nichts wird übersprungen, nichts abgeschaltet. « Dense » heißt auf Deutsch « dicht » und beschreibt genau das - das Modell ist bei jeder Rechnung komplett im Einsatz.

Der Standard, an dem alles gemessen wird

Fast alle bekannten KI-Modelle der Jahre 2018 bis 2022 waren dichte Transformer. GPT-3 gehört dazu, ebenso die frühen Llama-Modelle von Meta. Diese Bauweise gilt als eingespielt und gut verstanden. Wenn Forscher eine neue Idee testen, vergleichen sie ihr Ergebnis meist mit einem dichten Modell gleicher Größe.

Der Vorteil liegt in der Vorhersagbarkeit. Ein dichtes Modell braucht für jede Anfrage etwa gleich viel Rechenzeit, egal welche Frage gestellt wird. Das macht die Planung von Rechenzentren einfacher und die Kosten leichter kalkulierbar. Auch das Training verläuft stabiler, weil es keine internen Auswahlentscheidungen gibt, die schiefgehen können.

Der Nachteil zeigt sich beim Wachstum. Verzehnfacht man die Parameterzahl, verzehnfacht sich grob auch der Rechenaufwand pro Antwort. Genau deshalb setzen viele große Anbieter inzwischen auf Mixture of Experts. Dort wird pro Anfrage nur ein Bruchteil der Bausteine aktiviert. Ein dichtes Modell mit 400 Milliarden Parametern lässt sich kaum noch bezahlbar betreiben, ein Mixture-of-Experts-Modell dieser Größe schon.

Was bei jeder Anfrage im Modell passiert

Der Text wird zuerst in kleine Einheiten zerlegt, meist Wortteile. Jede Einheit wird in eine lange Zahlenreihe umgewandelt. Diese Zahlen wandern dann durch dutzende gleich aufgebaute Schichten. In jeder Schicht stecken zwei Bauteile: ein Aufmerksamkeitsteil, der Bezüge zwischen den Wörtern herstellt, und ein Rechenteil aus einfachen Multiplikationen.

Der entscheidende Punkt ist, dass beide Bauteile immer vollständig durchlaufen werden. Ob das Modell « Hallo » verarbeitet oder eine Physikaufgabe löst, macht rechnerisch keinen Unterschied. Man kann sich das wie eine Fabrik vorstellen, in der jedes Werkstück durch alle Maschinen der Halle muss - auch durch die, die es gar nicht braucht.

Weil man die Rechenmenge nicht durch Auswahl senken kann, senkt man sie anders. Ein verbreitetes Verfahren ist die Quantisierung: Die Parameter werden gröber gespeichert, etwa mit 8 statt 16 Stellen Genauigkeit. Ein anderes ist die Destillation, bei der ein kleines Modell das Verhalten eines großen nachahmt. Beides ändert die dichte Grundstruktur nicht, macht sie aber billiger.

Wo dichte Modelle heute noch gebaut werden

In Produktmeldungen taucht der Begriff meist als Abgrenzung auf. Wenn ein Unternehmen betont, sein neues Modell sei ein « Mixture-of-Experts-Modell », grenzt es sich damit von der dichten Bauweise ab. Umgekehrt werben Anbieter kleiner Modelle bewusst mit « dense », weil solche Modelle einfacher auf einer einzelnen Grafikkarte laufen.

Besonders im Bereich der kleinen offenen Modelle bleibt die dichte Bauweise dominant. Modelle mit 7 oder 8 Milliarden Parametern sind fast immer dicht. Sie passen auf gute Gaming-Rechner und lassen sich mit wenig Aufwand für eigene Zwecke nachtrainieren. Wer ein Sprachmodell auf einem Laptop oder Handy betreibt, benutzt also mit hoher Wahrscheinlichkeit einen dichten Transformer.

Ein häufiger Irrtum ist, dichte Modelle seien schlicht veraltet. Bei gleicher Parameterzahl ist ein dichtes Modell oft sogar etwas leistungsfähiger, weil es alle seine Kapazität nutzt. Der Vorteil der Alternative liegt nicht in besserer Qualität, sondern in niedrigeren Kosten bei extremer Größe. Für kleine und mittlere Modelle bleibt die dichte Bauweise deshalb eine bewusste, sinnvolle Wahl.