Gate

Programme, die aus Beispielen lernen statt starre Regeln zu befolgen, bestehen aus vielen kleinen Rechenschritten. Zwischen diesen Schritten fließen Zahlenwerte hin und her. Ein Gate ist eine Stelle, an der ein solcher Zahlenfluss gedrosselt wird. Man kann sich einen Wasserhahn vorstellen: Er lässt alles durch, gar nichts oder irgendetwas dazwischen. Das Besondere ist, dass die Stellung dieses Hahns nicht fest eingebaut ist. Sie wird für jede Eingabe neu berechnet, und das Programm lernt selbst, wann es aufdrehen und wann es zudrehen soll. Der deutsche Begriff dafür wäre « Tor » oder « Gatter », üblich ist aber das englische Wort.

Warum Netze einen Wasserhahn brauchen

Ohne Gates behandelt ein Netz jede Information gleich. Alles fließt mit derselben Stärke weiter, egal ob es wichtig ist oder nicht. Bei kurzen Aufgaben fällt das kaum auf. Bei langen Texten oder langen Zahlenreihen wird es zum Problem. Das Modell überschreibt Wichtiges mit Unwichtigem, weil es nichts festhalten kann.

Ein zweites Problem betrifft das Lernen selbst. Netze lernen, indem ein Fehlersignal rückwärts durch alle Rechenschritte wandert und die Einstellungen nachjustiert. Über viele Schritte hinweg wird dieses Signal immer schwächer und verschwindet irgendwann fast völlig. Fachleute nennen das das Problem des verschwindenden Gradienten. Gates schaffen Abkürzungen, auf denen ein Wert über viele Schritte nahezu unverändert weitergereicht wird. Dadurch kommt das Fehlersignal auch bei weit zurückliegenden Stellen noch an.

Der dritte Grund ist wirtschaftlich. Große Modelle haben so viele Bausteine, dass es zu teuer wäre, für jede Anfrage alle rechnen zu lassen. Gates können ganze Netzteile abschalten. So bleibt ein sehr großes Modell im Betrieb bezahlbar.

Vom Sigmoid zur Torstellung

Technisch ist ein Gate meist eine Zahl zwischen 0 und 1. Diese Zahl wird mit dem eingehenden Signal multipliziert. Bei 0 kommt nichts an, bei 1 alles, bei 0,3 knapp ein Drittel. Damit die Zahl garantiert in diesem Bereich landet, wird eine Quetschfunktion namens Sigmoid benutzt. Sie presst jeden beliebigen Rechenwert auf einen Wert zwischen 0 und 1.

Welchen Wert das Gate ausgibt, hängt von der aktuellen Eingabe ab. Ein kleines eigenes Rechenwerk schaut sich an, was gerade ankommt, und leitet daraus die Torstellung ab. Die Einstellungen dieses Rechenwerks werden beim Training mitgelernt. Niemand legt also von Hand fest, wann geöffnet wird. Das Modell findet die Regel in den Trainingsdaten selbst.

Bekannt sind Gates aus einer älteren Netzarchitektur namens LSTM, die Texte Wort für Wort verarbeitet. Sie hat ein Vergessens-Gate, ein Eingabe-Gate und ein Ausgabe-Gate. Das Vergessens-Gate entscheidet, wie viel vom bisherigen Gedächtnis erhalten bleibt. Ein häufiger Irrtum ist, diese Gates mit den Logikgattern in Computerchips zu verwechseln. Die kennen nur an und aus, Gates in Netzen kennen alle Zwischenstufen.

Gates in heutigen Sprachmodellen

In Meldungen über neue KI-Modelle taucht das Wort meist im Zusammenhang mit dem Router auf. Der Router ist das Gate großer Modelle, die aus vielen Spezialbausteinen bestehen. Er wählt pro Wort aus, welche dieser Bausteine antworten dürfen. Die englische Fachbezeichnung dafür lautet Gating Network.

Auch im Inneren fast jedes heutigen Sprachmodells stecken Gates, ohne dass man davon liest. Ein verbreiteter Baustein heißt SwiGLU und arbeitet mit genau diesem Prinzip: Ein Teil der Rechnung dient nur dazu, einen anderen Teil zu dämpfen oder durchzulassen. Wenn in einem technischen Bericht von « gated » die Rede ist, ist immer diese Art von Schalter gemeint.

Für Anwender bleibt das unsichtbar, wirkt sich aber direkt auf Preis und Tempo aus. Ein Modell mit gutem Gating antwortet schneller und verbraucht weniger Strom, weil es große Teile seiner selbst ungenutzt lässt. Verteilt der Router schlecht, sind einzelne Bausteine überlastet und andere langweilen sich. Deshalb gehört die Qualität des Gatings zu den Punkten, über die Entwicklerteams in ihren Veröffentlichungen ausführlich schreiben.