Bidirektionalität

Programme, die Sprache verarbeiten, lesen einen Satz nicht wie ein Mensch von vorne nach hinten. Manche schauen sich jedes Wort zusammen mit allem an, was davor UND danach steht. Genau das meint Bidirektionalität: die Verarbeitung läuft in beide Richtungen. Der Nutzen zeigt sich an einem einfachen Beispiel. Im Satz « Sie sitzt an der Bank und wartet auf ihr Geld » wird erst durch das spätere Wort « Geld » klar, dass hier kein Sitzmöbel gemeint ist. Ein Programm, das nur nach vorne liest, hat diese Information beim Wort « Bank » noch nicht.

Was der Blick nach hinten für das Textverständnis bringt

Sprache ist voller Wörter, deren Bedeutung erst später im Satz feststeht. Das gilt für mehrdeutige Wörter wie « Schloss », « Ball » oder « Läufer ». Es gilt auch für Bezüge: Wer ist mit « er » gemeint? Ein Modell, das den ganzen Satz gleichzeitig überblickt, löst solche Fragen deutlich zuverlässiger.

Deshalb waren bidirektionale Modelle ab 2018 ein großer Sprung. Das bekannteste heißt BERT, entwickelt bei Google. Es verbesserte damals die Ergebnisse bei Aufgaben wie Textklassifikation oder Fragenbeantwortung auf einen Schlag spürbar. Klassifikation heißt dabei nur: Ein Text bekommt eine Kategorie zugewiesen, etwa « Beschwerde » oder « Lob ».

Wichtig ist die Abgrenzung zu Chatbots wie ChatGPT. Diese Modelle arbeiten bewusst nicht bidirektional. Sie sagen Wort für Wort das nächste Wort voraus und dürfen deshalb nie in die Zukunft schauen. Sonst wäre die Aufgabe trivial: Das gesuchte Wort stünde bereits im Blickfeld. Bidirektionalität ist also kein Qualitätsmerkmal, sondern eine bewusste Entscheidung für einen bestimmten Zweck.

Maskierte Wörter als Trainingstrick

Wenn ein Modell den ganzen Satz sehen darf, kann man es nicht mit der Aufgabe « rate das nächste Wort » trainieren. Also nutzt man eine andere Übung. Man entfernt zufällig einzelne Wörter aus dem Text und ersetzt sie durch eine Platzhaltermarkierung. Das Modell soll erraten, was fehlt. Fachleute nennen das maskiertes Sprachmodellieren.

Das funktioniert wie ein Lückentext im Sprachunterricht. Bei « Der ___ bellte laut und zerrte an der Leine » hilft dir der Teil hinter der Lücke mindestens so viel wie der davor. Genau diese Fähigkeit trainiert das Modell millionenfach an großen Textmengen. Typischerweise werden etwa 15 Prozent der Wörter maskiert.

Technisch wird das durch den sogenannten Aufmerksamkeitsmechanismus möglich. Vereinfacht gesagt darf dabei jedes Wort im Satz auf jedes andere Wort blicken und gewichten, wie wichtig es für die eigene Bedeutung ist. Bei Modellen, die Text erzeugen, blendet man den Blick nach rechts künstlich aus. Bei bidirektionalen Modellen lässt man ihn offen. Der Unterschied steckt also nicht im Grundaufbau, sondern in dieser einen Beschränkung.

Bidirektionale Modelle in Suchmaschinen und Firmensoftware

Am häufigsten begegnet dir Bidirektionalität, ohne dass du es merkst: in der Websuche. Google setzt seit 2019 BERT-artige Modelle ein, um Suchanfragen besser zu deuten. Gerade bei längeren Fragen mit kleinen Wörtern wie « für », « ohne » oder « nach » ändert der Kontext die Bedeutung komplett. Genau dort spielt beidseitiges Lesen seine Stärke aus.

In Unternehmen laufen solche Modelle im Hintergrund vieler unspektakulärer Aufgaben. Sie sortieren eingehende E-Mails, erkennen Firmennamen in Verträgen oder bewerten die Stimmung in Produktbewertungen. Der Vorteil ist praktischer Natur: Diese Modelle sind oft klein genug, um auf normaler Hardware zu laufen. Ein Chatbot-Modell mit hunderten Milliarden Bausteinen wäre für solche Routineaufgaben unnötig teuer.

In den Nachrichten taucht der Begriff heute seltener auf als vor einigen Jahren. Das liegt an der Dominanz der textgenerierenden Modelle. Ein verbreiteter Irrtum ist deshalb, bidirektionale Modelle seien veraltet. Sie sind eher spezialisiert: Wer Texte verstehen und einordnen will, greift oft noch immer dazu.