Encoder-only-Modell
Ein Encoder-only-Modell ist eine Art von KI-Sprachmodell, das Texte liest und versteht, aber selbst keinen neuen Text erzeugt. Es wird vor allem eingesetzt, wenn ein Modell die Bedeutung eines Satzes erfassen soll – etwa um Dokumente zu durchsuchen oder Stimmungen in Texten zu erkennen.
Ein Encoder-only-Modell ist ein Sprachmodell, das einen Text vollständig einliest und ihn in eine Art innere Darstellung — eine Liste von Zahlen — übersetzt. Diese Zahlen beschreiben, was der Text bedeutet. Das Modell erzeugt dabei selbst keine Ausgabe als lesbaren Text. Es liefert stattdessen eine komprimierte Bedeutungsrepräsentation, mit der andere Systeme weiterarbeiten. Das klingt unspektakulär, ist aber für viele praktische Aufgaben genau das Richtige.
Stärken beim Textverstehen
Ein Encoder-only-Modell liest jeden Satz in beide Richtungen gleichzeitig. Es sieht also nicht nur, was links von einem Wort steht, sondern auch, was rechts davon kommt. Das macht es besser darin, die Bedeutung eines Wortes im Kontext zu erfassen.
Das Wort « Bank » bedeutet etwas anderes in « Er sitzt auf der Bank » als in « Er überweist Geld bei der Bank ». Ein Encoder-only-Modell kann diesen Unterschied erkennen, weil es den gesamten Satz auf einmal verarbeitet. Ein Modell, das nur von links nach rechts liest, muss dagegen raten, bevor es das Ende des Satzes kennt.
Genau deshalb sind Encoder-only-Modelle bei Verstehensaufgaben oft besser als generative Modelle, die Text Wort für Wort erzeugen. Wer keine Texte schreiben, sondern Texte einordnen will, braucht keinen Generator.
Verarbeitung von links und rechts zugleich
Das bekannteste Encoder-only-Modell heißt BERT, entwickelt von Google im Jahr 2018. Es wird zunächst auf einer riesigen Textmenge vortrainiert — dabei lernt es, fehlende Wörter in Sätzen zu ergänzen. Dieser Schritt ist das eigentliche Sprachverstehen: Das Modell muss verstehen, was in einem Satz passt, bevor es die Lücke füllen kann.
Danach wird das Modell auf eine konkrete Aufgabe spezialisiert, zum Beispiel darauf, Sätze als positiv oder negativ einzustufen. Dieser zweite Schritt heißt Finetuning. Das Grundmodell bleibt dasselbe, nur der letzte Baustein wird ausgetauscht und neu trainiert. So spart man sich das aufwändige Training von Grund auf für jede neue Aufgabe.
Technisch steckt im Kern ein sogenannter Transformer — eine Architektur, die Beziehungen zwischen allen Wörtern eines Satzes gleichzeitig berechnet. Encoder-only-Modelle nutzen nur die erste Hälfte dieser Architektur: den Teil, der einliest und versteht. Den Teil, der Text ausgibt, lassen sie weg — daher der Name.
Einsatz in Suche, Analyse und Klassifikation
Encoder-only-Modelle stecken in vielen Alltagsanwendungen, ohne dass man sie sieht. Suchmaschinen nutzen sie, um die Bedeutung einer Suchanfrage mit der Bedeutung von Webseiten abzugleichen — nicht nur nach Schlüsselwörtern, sondern nach inhaltlicher Ähnlichkeit. Google hat BERT ab 2019 für einen Großteil seiner Suchanfragen eingesetzt.
Auch die Stimmungsanalyse in sozialen Netzwerken, das automatische Sortieren von Kundenrezensionen oder das Erkennen von Spam in E-Mails läuft häufig über Encoder-only-Modelle. Überall dort, wo ein System entscheiden muss, was ein Text bedeutet oder in welche Kategorie er gehört, sind diese Modelle die erste Wahl.
In Nachrichten taucht der Begriff vor allem im Vergleich mit großen generativen Modellen wie GPT auf. Der wichtigste Unterschied: GPT und ähnliche Systeme erzeugen Text, BERT und seine Nachfolger verstehen ihn. Für viele Unternehmensanwendungen sind die kleineren, spezialisierten Encoder-only-Modelle dabei schneller, günstiger und akkurater als ein universeller Textgenerator.