Transformer

Ein Transformer ist eine bestimmte Bauweise für Computerprogramme, die aus Beispielen lernen. Solche Programme nennt man neuronale Netze: Sie bestehen aus vielen Rechenschritten, deren Einstellungen nicht ein Mensch festlegt, sondern die sich beim Lernen selbst einstellen. Der Transformer wurde 2017 von Forschern bei Google in einem Aufsatz mit dem Titel "Attention Is All You Need" vorgestellt. Seine Besonderheit ist die Art, wie er mit Texten umgeht: Er liest nicht Wort für Wort von links nach rechts, sondern verarbeitet einen ganzen Textabschnitt auf einmal. Dabei berechnet er für jedes Wort, welche anderen Wörter im Satz dafür gerade wichtig sind. Fast alle bekannten KI-Systeme für Sprache – von ChatGPT bis zu Übersetzungsdiensten – folgen diesem Bauplan. Das "T" in GPT steht genau dafür.

Der Bauplan, der die KI-Welle ausgelöst hat

Vor dem Transformer arbeiteten Sprachprogramme reihum: Sie lasen ein Wort, merkten sich etwas davon, lasen das nächste. Das ist langsam, weil ein Schritt auf den vorherigen warten muss. Außerdem verblasste die Erinnerung an den Satzanfang, wenn der Text lang wurde. Der Transformer löst beide Probleme auf einen Schlag.

Weil er alle Wörter gleichzeitig verarbeitet, lässt sich die Rechenarbeit auf tausende Grafikchips verteilen. Genau das machte es überhaupt erst möglich, Modelle auf riesigen Textmengen zu trainieren. Der Boom seit 2020 hat also weniger mit einer neuen Idee vom Denken zu tun als mit einer Bauweise, die gut zu moderner Hardware passt. Dass Nvidia zum wertvollsten Unternehmen der Welt aufsteigen konnte, hängt direkt daran.

Ein zweiter Punkt ist die Vielseitigkeit. Derselbe Bauplan funktioniert auch für Bilder, Musik, Sprachaufnahmen und sogar für die Struktur von Eiweißmolekülen. Man muss die Daten nur in eine Folge von Zahlen zerlegen. Früher brauchte man für jede Aufgabe eine eigene Spezialkonstruktion, heute nimmt man meist einen Transformer.

Aufmerksamkeit: wie das Modell Wörter aufeinander bezieht

Zuerst wird der Text in kleine Stücke geschnitten, sogenannte Token. Ein Token ist oft ein Wort, manchmal nur eine Silbe oder ein Satzzeichen. Jedes Token wird in eine lange Liste von Zahlen übersetzt, die seine Bedeutung ungefähr beschreibt. Ähnliche Wörter erhalten ähnliche Zahlenlisten.

Dann kommt der eigentliche Kerntrick, die Selbstaufmerksamkeit. Für jedes Token berechnet das Modell, wie stark es auf jedes andere Token im Text achten sollte. Im Satz "Der Anwalt gab dem Mandanten seine Akte, weil er sie brauchte" muss das Modell klären, wer mit "er" gemeint ist. Es vergleicht dazu die Zahlenlisten und gewichtet die passenden Wörter höher. Man kann sich das wie einen Schüler vorstellen, der in einem langen Text die relevanten Stellen mit Textmarker verbindet, statt alles gleich stark zu lesen.

Dieser Schritt wird viele Male hintereinander wiederholt, in sogenannten Schichten. Große Modelle haben achtzig oder mehr solcher Schichten. Mit jeder Schicht wird die Darstellung eines Tokens genauer und bezieht mehr Zusammenhang ein. Am Ende sagt das Modell nur eines vorher: welches Token als nächstes am wahrscheinlichsten kommt. Ein häufiger Irrtum ist, dass der Transformer Sätze plant. Er erzeugt sie Token für Token, wobei jedes neue Token die gesamte bisherige Folge mitberücksichtigt.

Vom Chatbot bis zur Wetterprognose

Am offensichtlichsten begegnet man Transformern in Chatbots wie ChatGPT, Claude oder Gemini. Auch die Übersetzung in Google Translate, die automatischen Untertitel bei YouTube und die Textvorschläge in Suchleisten beruhen darauf. Bildgeneratoren nutzen Transformer, um den eingegebenen Wunschtext zu verstehen.

In Wirtschaftsnachrichten taucht der Begriff oft indirekt auf. Wenn von "Kontextfenster" die Rede ist, geht es darum, wie viele Token ein Transformer gleichzeitig betrachten kann. Wenn Rechenzentren Milliarden kosten, liegt das daran, dass die Aufmerksamkeitsrechnung mit der Textlänge stark ansteigt: doppelt so langer Text bedeutet grob viermal so viel Rechenaufwand. Genau an dieser Schwäche arbeiten Forscher mit abgewandelten Bauweisen.

Wichtig ist die Abgrenzung zu verwandten Begriffen. Der Transformer ist die Architektur, also der Bauplan. Ein Sprachmodell wie GPT-5 ist ein konkretes, fertig trainiertes Gebäude nach diesem Plan. Und ein Produkt wie ChatGPT ist die Oberfläche, durch die man mit diesem Gebäude spricht.