Gating
Gating bezeichnet in KI-Systemen einen Mechanismus, der wie ein Tor entscheidet, welche Informationen weiterfließen und welche zurückgehalten werden. Bekannt ist Gating vor allem aus großen Sprachmodellen, in denen ein kleines Zusatznetz pro Anfrage nur einen Teil der Bausteine einschaltet.
Ein Computerprogramm, das aus Beispielen lernt, muss ständig entscheiden, was wichtig ist und was nicht. Gating ist genau so eine Entscheidung, eingebaut ins Programm selbst. Der englische Begriff kommt von « gate », also Tor oder Schranke. Ein solches Tor bekommt Informationen herein und gibt sie ganz, teilweise oder gar nicht weiter. Wie weit das Tor jeweils geöffnet wird, ist nicht von Menschen festgelegt. Das Programm findet es beim Lernen selbst heraus, indem es an Millionen Beispielen ausprobiert, welche Einstellung zu guten Ergebnissen führt.
Warum Tore in Netzen überhaupt eingebaut werden
Ohne Gating behandelt ein Netz alle Informationen gleich. Das ist teuer und oft auch schlecht. Teuer, weil jede Berechnung Strom und Zeit kostet. Schlecht, weil unwichtige Informationen wichtige überdecken können.
Das größte praktische Argument sind heute die Kosten. Moderne Sprachmodelle haben hunderte Milliarden interner Stellschrauben, sogenannte Parameter. Würde jede Anfrage alle davon durchrechnen, wären Chatbots kaum bezahlbar. Mit Gating rechnet ein solches Modell pro Wort nur mit wenigen Prozent seiner Bausteine. Die Antwortqualität bleibt fast gleich, die Rechenzeit sinkt deutlich.
Es gibt aber noch einen zweiten Grund, der älter ist als die heutigen Riesenmodelle. Netze, die Texte oder Zeitreihen verarbeiten, müssen sich über viele Schritte hinweg etwas merken. Ein Tor kann eine Information festhalten, statt sie bei jedem neuen Wort zu überschreiben. Genau daran scheiterten frühe Netze der 1990er Jahre, bevor Gating dieses Problem löste.
Wie ein Tor seine Öffnung berechnet
Ein Gate ist technisch nichts anderes als eine kleine Rechnung. Sie schaut sich die eingehenden Daten an und gibt eine Zahl zwischen 0 und 1 aus. Diese Zahl wird dann mit der Information multipliziert. Bei 0 verschwindet sie vollständig, bei 1 fließt sie unverändert weiter, bei 0,5 nur halb so stark.
Man kann sich das wie einen Mischpultregler vorstellen, der sich selbst bedient. Das Netz lernt während des Trainings, in welchen Situationen der Regler hoch und in welchen er runter soll. Niemand programmiert Regeln wie « bei Datumsangaben Tor öffnen ». Solche Muster entstehen von allein, weil sie die Fehlerquote senken.
In Mixture-of-Experts-Modellen ist das Gating besonders sichtbar. Dort gibt es viele parallele Bausteine, die Experten genannt werden. Ein eigenes kleines Netz, der Router, wählt für jedes Wort die passenden zwei oder drei aus. Wichtig ist dabei die Balance: Bevorzugt der Router immer dieselben Experten, bleiben die übrigen ungenutzt und das Modell verschenkt seine Kapazität. Entwickler bauen deshalb zusätzliche Regeln ein, die eine gleichmäßige Auslastung belohnen.
Gating in Chatbots, Übersetzern und Schlagzeilen
Der Begriff taucht auf, sobald es um die Architektur großer Modelle geht. Wenn eine Firma meldet, ihr neues Modell habe 600 Milliarden Parameter, aktiviere aber nur 30 Milliarden pro Anfrage, dann steckt dahinter Gating. Diese Bauweise nutzen unter anderem Modelle von Mistral, Google und DeepSeek. Für Anleger ist die Zahl interessant, weil sie die Betriebskosten pro Antwort bestimmt.
Unsichtbar begegnet Gating fast jedem täglich. Automatische Übersetzungen, Spracherkennung im Handy und Textvorschläge in Suchfeldern beruhen auf Netzen mit solchen Toren. Ältere Systeme dieser Art heißen LSTM oder GRU, was für Netzwerke mit eingebauten Gedächtnistoren steht.
Ein häufiger Irrtum: Gating spart keinen Speicherplatz. Alle Experten müssen geladen bleiben, auch die gerade abgeschalteten. Gespart wird ausschließlich Rechenzeit. Wer ein solches Modell selbst betreiben will, braucht deshalb trotzdem viel Grafikkartenspeicher.