Bidirektionaler Transformer
Ein bidirektionaler Transformer ist ein Sprachmodell, das jedes Wort eines Satzes gleichzeitig im Zusammenhang mit allen anderen Wörtern betrachtet – auch mit denen, die danach kommen. Das macht ihn stark im Verstehen von Texten, aber ungeeignet zum Schreiben neuer Sätze.
Computer können Sprache nicht direkt lesen. Sie müssen aus jedem Wort erst eine Zahlenreihe machen, die dessen Bedeutung im Satz festhält. Genau das leistet ein bidirektionaler Transformer. Er schaut sich dabei für jedes Wort den gesamten Satz an – die Wörter davor und die danach. Das Wort „Bank“ bekommt so eine andere Zahlenreihe in „Ich sitze auf der Bank im Park“ als in „Die Bank hat mein Konto gesperrt“. Der Zusatz „bidirektional“ bedeutet genau das: Der Blick geht in beide Richtungen, nicht nur von links nach rechts.
Warum beide Leserichtungen den Unterschied machen
Modelle wie ChatGPT arbeiten anders. Sie lesen einen Text von vorne nach hinten und sagen immer das nächste Wort voraus. Beim Wort „Bank“ kennen sie also nur das, was davor stand. Für das Schreiben von Texten ist das genau richtig, denn die Zukunft steht ja noch nicht fest. Für das Verstehen eines fertigen Textes ist es eine unnötige Fessel.
Ein bidirektionaler Transformer hat diese Fessel nicht. Er bekommt den kompletten Text auf einmal und darf ihn wie ein Mensch überfliegen. Deshalb liefert er präzisere Bedeutungsdarstellungen als gleich große Modelle mit nur einer Leserichtung. Bei Aufgaben wie „Ist diese Kundenbewertung positiv oder negativ?“ schlägt ein kleines bidirektionales Modell oft ein deutlich größeres Textgenerierungsmodell.
Dazu kommt der Kostenvorteil. Bekannte bidirektionale Modelle haben ein paar hundert Millionen einstellbare Zahlenwerte, sogenannte Parameter. Große Chatmodelle liegen bei mehreren hundert Milliarden. Ein bidirektionales Modell läuft dadurch auf einem normalen Server oder sogar auf einem Laptop.
Das Lückentext-Training
Ein solches Modell kann nicht darauf trainiert werden, das nächste Wort zu erraten. Es sieht dieses Wort ja bereits. Stattdessen benutzt man ein Lückentext-Verfahren, im Englischen „Masked Language Modeling“ genannt. Aus einem Satz werden rund 15 Prozent der Wörter entfernt, und das Modell muss sie aus dem Zusammenhang rekonstruieren.
Aus „Der Torwart hielt den ___ sicher fest“ soll also „Ball“ werden. Um das zuverlässig zu schaffen, muss das Modell Grammatik, Wortbedeutungen und Weltwissen aufbauen. Dieses Training läuft ohne menschliche Beschriftung, allein mit Text aus dem Internet und aus Büchern. Das ist der Grund, warum riesige Datenmengen überhaupt nutzbar sind.
Technisch steckt dahinter der Aufmerksamkeitsmechanismus des Transformers. Vereinfacht gesagt: Jedes Wort berechnet, wie stark es auf jedes andere Wort im Satz achten soll. Bei Textgeneratoren wird der Blick nach rechts künstlich blockiert. Beim bidirektionalen Transformer lässt man diese Sperre einfach weg – das ist der ganze technische Unterschied.
Suchmaschinen, Spamfilter und die Rolle in News
Das bekannteste Modell dieser Bauart heißt BERT und stammt von Google aus dem Jahr 2018. Google setzt es seit 2019 in der Websuche ein, um die Absicht hinter Suchanfragen zu erfassen. Wer „Medikament ohne Rezept Apotheke“ eingibt, meint etwas anderes als jemand, der nur die Einzelwörter tippt. Solche Feinheiten erkennt ein bidirektionales Modell zuverlässig.
In Unternehmen laufen diese Modelle meist unsichtbar im Hintergrund. Sie sortieren Support-Anfragen nach Thema, filtern Spam, erkennen Firmennamen in Nachrichtentexten oder bewerten die Stimmung in Börsenmeldungen. Auch die Suchfunktion in vielen KI-Systemen nutzt bidirektionale Modelle, um passende Textstellen aus Datenbanken zu finden.
Ein häufiger Irrtum ist die Annahme, bidirektionale Modelle seien durch Chatbots überholt. Sie können zwar keine flüssigen Antworten schreiben, aber das sollen sie auch nicht. In Fachartikeln tauchen sie deshalb oft als „Encoder-Modelle“ auf, im Gegensatz zu den textgenerierenden „Decoder-Modellen“. Wo es um Einordnen und Wiederfinden statt um Formulieren geht, sind sie nach wie vor die effizienteste Wahl.