Gedächtnisschicht

Ein KI-Modell besteht aus vielen hintereinander geschalteten Rechenstufen, den sogenannten Schichten. Die meisten dieser Schichten rechnen bei jeder Anfrage komplett mit. Eine Gedächtnisschicht arbeitet anders: sie ist eine sehr große Tabelle mit Millionen von Einträgen. Für jede Anfrage sucht das Modell darin nur eine Handvoll passender Einträge heraus und rechnet allein mit diesen weiter. Man kann sich das wie ein riesiges Nachschlagewerk vorstellen, aus dem man nicht alle Seiten liest, sondern gezielt drei Stichwörter. Der Rest der Tabelle bleibt für diese Anfrage einfach unbenutzt.

Warum Wissen Platz kostet, aber keine Rechenzeit kosten muss

Wissen in einem KI-Modell steckt normalerweise in seinen Parametern. Parameter sind Zahlen, die beim Lernen eingestellt werden und die gelernten Zusammenhänge speichern. Bisher galt eine unangenehme Regel: mehr Wissen heißt mehr Parameter, und mehr Parameter heißen mehr Rechenarbeit pro Antwort. Ein Modell, das mehr Fakten kennen soll, wird also teurer im Betrieb.

Gedächtnisschichten brechen diese Kopplung auf. Die Tabelle darf gigantisch werden, ohne dass die Rechenzeit mitwächst. Denn benutzt werden pro Anfrage immer nur wenige Zeilen. Forschungsarbeiten von Meta haben gezeigt, dass ein Modell mit Gedächtnisschichten bei Faktenfragen deutlich besser abschneidet als ein gleich schnelles Modell ohne sie.

Wichtig ist der Unterschied zwischen zwei Kosten. Speicherplatz ist relativ billig, Rechenzeit pro Antwort ist teuer, weil sie bei jeder einzelnen Nutzeranfrage anfällt. Gedächtnisschichten verschieben die Last vom Teuren zum Billigen. Genau darum sind sie für Firmen interessant, die Modelle für Millionen Menschen betreiben.

Suchschlüssel, Werte und der Blick in die Tabelle

Die Tabelle besteht aus Paaren. Jeder Eintrag hat einen Schlüssel und einen dazugehörigen Wert. Der Schlüssel ist eine Zahlenreihe, die beschreibt, wofür dieser Eintrag zuständig ist. Der Wert ist die Information, die das Modell weiterverwendet, ebenfalls als Zahlenreihe.

Kommt ein Wort im Text an, erzeugt das Modell daraus eine Suchanfrage. Diese Suchanfrage wird mit den Schlüsseln verglichen. Die vier bis acht am besten passenden Einträge gewinnen. Ihre Werte werden gemischt und an die nächste Schicht weitergegeben. Alle anderen Millionen Einträge werden gar nicht angefasst.

Der Vergleich mit Millionen Schlüsseln wäre eigentlich selbst sehr aufwendig. Deshalb werden die Schlüssel in Gruppen zerlegt, sodass die Suche in zwei kleineren Schritten abläuft. Trainiert wird das Ganze wie der Rest des Modells: Die Einträge stellen sich beim Lernen selbst ein. Niemand tippt ein, welcher Eintrag welches Faktum enthält. Ein typischer Irrtum ist deshalb, sich die Tabelle als Lexikon mit lesbaren Sätzen vorzustellen. Darin stehen nur Zahlen, die für Menschen nicht direkt deutbar sind.

Nachbarn: Mixture of Experts und externe Datenbanken

Gedächtnisschichten tauchen vor allem in Fachartikeln und in Nachrichten über neue Modellarchitekturen auf. Man begegnet ihnen selten als Produktname, sondern als Erklärung dafür, warum ein Modell trotz seiner Größe schnell bleibt. Ähnlich verhält es sich mit Mixture of Experts, wo ein Modell pro Anfrage nur einige seiner Bausteine aktiviert. Beide Ansätze folgen demselben Grundgedanken, nur ist bei Gedächtnisschichten die aktivierte Einheit ein einzelner Tabelleneintrag.

Abzugrenzen ist das von zwei anderen Dingen, die man auch Gedächtnis nennt. Das eine ist das Kontextfenster: die Menge an Text, die ein Chatbot in einem Gespräch gerade überblicken kann. Das andere sind angeschlossene Datenbanken, in denen ein Modell während der Antwort echte Dokumente sucht. Eine Gedächtnisschicht ist dagegen fest im Modell eingebaut und wird beim Training gelernt.

Praktisch spürbar wird die Technik dort, wo Faktenwissen zählt. Fragen nach Hauptstädten, Jahreszahlen oder Fachbegriffen beantworten solche Modelle zuverlässiger. Für Anbieter zählt außerdem, dass große Tabellen leichter auf mehrere Grafikkarten verteilbar sind als klassische Schichten. In den kommenden Jahren dürfte man den Begriff öfter lesen, wenn es um sparsame, aber wissensreiche Modelle geht.