Fill-in-the-Blank

Fill-in-the-Blank heißt auf Deutsch schlicht „Lücken füllen“. Gemeint ist eine Methode, mit der man Computerprogramme Sprache beibringt. Man nimmt einen ganz normalen Text und streicht einzelne Wörter heraus. Aus „Die Katze schläft auf dem Sofa“ wird etwa „Die Katze schläft auf dem ___“. Das Programm soll nun raten, was in die Lücke gehört. Die richtige Antwort steht ja im Originaltext, also kann sich das Programm selbst korrigieren – millionenfach, ohne dass ein Mensch eingreifen muss.

Warum Lücken billiger sind als Lehrer

Um einem Programm etwas beizubringen, braucht man normalerweise Beispiele mit der richtigen Lösung dabei. Bei der Erkennung von Katzenfotos müsste jemand erst tausende Bilder von Hand beschriften. Das kostet Zeit und Geld. Genau hier liegt der Trick beim Lückenfüllen: Die Lösung ist schon da.

Jeder Text im Internet ist automatisch eine Übungsaufgabe. Man muss nur ein Wort abdecken und hat sofort Frage und Antwort. Fachleute nennen das selbstüberwachtes Lernen. Dadurch ließen sich erstmals gigantische Textmengen zum Training nutzen: ganze Wikipedia-Ausgaben, Bücherarchive, Nachrichtenseiten.

Genau dieser Durchbruch machte moderne Sprachmodelle möglich. Ein Sprachmodell ist ein Programm, das Texte versteht und erzeugt. Ohne das Lückenprinzip hätte niemand genug beschriftete Daten zusammenbekommen, um solche Systeme zu trainieren.

Was beim Raten wirklich passiert

Das Programm bekommt den Satz mit der Lücke und berechnet für sehr viele mögliche Wörter eine Wahrscheinlichkeit. Bei „Die Katze schläft auf dem ___“ bekommt „Sofa“ einen hohen Wert, „Fahrrad“ einen niedrigen. Dann wird verglichen: Was stand tatsächlich im Text? Lag das Programm daneben, werden seine internen Einstellungen leicht angepasst.

Diese Einstellungen heißen Parameter. Große Modelle haben Milliarden davon. Jede einzelne Lücke verschiebt sie nur minimal. Erst durch Milliarden solcher Korrekturen entsteht etwas, das wie Sprachverständnis aussieht. Das Programm lernt dabei keine Grammatikregeln auswendig. Es lernt, welche Wörter in welchem Zusammenhang üblich sind.

Wichtig ist die Abgrenzung zu einer verwandten Methode. Beim Lückenfüllen sieht das Modell den Text links UND rechts von der Lücke. Bei der Vorhersage des nächsten Wortes sieht es nur, was davor steht. Das erste eignet sich gut zum Verstehen von Texten, das zweite zum Schreiben. ChatGPT und ähnliche Chatbots arbeiten hauptsächlich nach dem zweiten Prinzip. Das Suchmaschinen-Modell BERT wurde dagegen klassisch mit Lücken trainiert.

Lücken in Suchmaschinen und Code-Editoren

Ein typischer Irrtum ist, das Lückenfüllen sei nur eine Trainingsübung ohne praktischen Nutzen. Tatsächlich steckt es in Produkten, die täglich benutzt werden. Google setzt seit 2019 Modelle ein, die so trainiert wurden, um Suchanfragen besser zu deuten. Auch Übersetzungsdienste und Rechtschreibprüfungen profitieren davon.

Besonders sichtbar ist das Prinzip bei Programmierhilfen. Wer in einem Code-Editor mitten in einer Zeile steht, bekommt Vorschläge für genau diese Stelle. Das Modell kennt den Code davor und danach – das ist wörtlich eine Lücke. Anbieter nennen diese Funktion oft „Fill in the Middle“.

In Fachartikeln und Firmenmeldungen taucht der Begriff meist in englischer Form auf, oft als „Masked Language Modeling“. Wenn du liest, ein Modell sei „mit maskierten Tokens vortrainiert“ worden, ist genau das gemeint: Wörter wurden abgedeckt, das Modell musste sie erraten. Der etwas altmodische Ausdruck „Cloze-Test“ stammt übrigens aus der Sprachdidaktik – Lückentexte kennst du aus dem Englischunterricht.