Transformer-Architektur

Wenn ein Computerprogramm Sprache verarbeiten soll, braucht es einen festen Bauplan dafür, wie es Wörter aufnimmt, verrechnet und weitergibt. Die Transformer-Architektur ist genau so ein Bauplan. Sie wurde 2017 von Forschern bei Google in einem Aufsatz mit dem Titel „Attention Is All You Need“ vorgestellt. Ihre zentrale Idee: Das Programm schaut sich beim Verarbeiten eines Satzes alle Wörter gleichzeitig an und berechnet, welche Wörter füreinander wichtig sind. Ältere Ansätze lasen Texte stattdessen Wort für Wort von links nach rechts, wie beim Vorlesen. Der Transformer verwirft diese Reihenfolge und gewinnt dadurch enorm an Tempo.

Warum 2017 zum Wendepunkt wurde

Vor dem Transformer waren Sprachprogramme langsam zu trainieren. Sie mussten einen Satz Schritt für Schritt durchgehen, weil jedes Wort auf dem Ergebnis des vorherigen aufbaute. Damit ließ sich die Arbeit kaum auf viele Rechenchips verteilen. Der Transformer verarbeitet alle Wörter parallel, also gleichzeitig. Genau das passt hervorragend zu Grafikkarten, die tausende kleine Rechnungen auf einmal ausführen können.

Diese Eigenschaft hatte eine Folge, die damals kaum jemand vorhersah. Man konnte die Modelle einfach immer größer machen und mit immer mehr Text füttern. Und mit jeder Vergrößerung wurden sie spürbar besser. Aus dieser Beobachtung ist der gesamte Boom der letzten Jahre entstanden.

Heute steckt die Architektur in praktisch allem, was als „KI“ verkauft wird. Das „T“ in GPT steht für Transformer. Auch Bildgeneratoren, Übersetzungsdienste und Programme zur Analyse von Proteinen nutzen inzwischen denselben Grundaufbau. Ein einziger Bauplan bedient also sehr verschiedene Anwendungsfelder.

Aufmerksamkeit: der Kern des Bauplans

Zuerst wird der Text in kleine Einheiten zerlegt, sogenannte Token. Ein Token ist meist ein Wort oder ein Wortteil. Jedes Token bekommt eine lange Zahlenliste zugewiesen, die seine Bedeutung beschreibt. Ähnliche Wörter erhalten dabei ähnliche Zahlenlisten. Zusätzlich wird vermerkt, an welcher Stelle im Satz das Token steht, denn sonst ginge die Reihenfolge verloren.

Dann kommt der eigentliche Trick, der Aufmerksamkeitsmechanismus. Für jedes Token berechnet das Modell, wie stark es auf jedes andere Token achten soll. Im Satz „Die Katze jagte die Maus, weil sie hungrig war“ muss das Wort „sie“ auf „Katze“ verweisen, nicht auf „Maus“. Der Mechanismus vergibt hier ein hohes Gewicht für „Katze“. So entsteht aus einzelnen Wörtern ein Verständnis für Zusammenhänge.

Dieser Schritt läuft mehrfach nebeneinander ab, man nennt das mehrköpfige Aufmerksamkeit. Ein Durchgang achtet vielleicht auf Grammatik, ein anderer auf Bedeutung. Anschließend folgt eine normale Rechenschicht, die das Ergebnis weiterverarbeitet. Dieser Doppelschritt wird dutzende Male hintereinander wiederholt. Große Modelle stapeln bis zu hundert solcher Schichten übereinander.

Wo Transformer im Alltag auftauchen

Jeder Chatbot, den du benutzt, arbeitet mit dieser Architektur. Ebenso Übersetzungswerkzeuge wie DeepL, die Autovervollständigung in Suchmaschinen und Programmierhilfen wie GitHub Copilot. Auch die automatische Untertitelung von Videos beruht darauf. Der Begriff selbst bleibt dabei meist unsichtbar, weil Produkte mit Markennamen statt mit Bauplänen werben.

In Wirtschaftsnachrichten begegnet dir der Transformer indirekt. Weil die Architektur so gut auf Grafikkarten läuft, ist der Chiphersteller Nvidia zu einem der wertvollsten Unternehmen der Welt geworden. Meldungen über neue Rechenzentren und deren Stromverbrauch hängen ebenfalls direkt an dieser Technik.

Ein verbreiteter Irrtum ist, Transformer und Sprachmodell seien dasselbe. Der Transformer ist nur der Bauplan, das Modell ist das fertige, trainierte Ergebnis. Man kann denselben Bauplan für Text, Bilder oder Musik verwenden. Ein bekannter Schwachpunkt bleibt der Rechenaufwand: Verdoppelt man die Textlänge, vervierfacht sich die Arbeit im Aufmerksamkeitsschritt. An genau diesem Problem arbeitet die Forschung derzeit intensiv.