Fundamentmodell

Früher baute man für jede Aufgabe ein eigenes Computerprogramm, das aus Beispielen lernt: eines für Übersetzungen, eines für die Erkennung von Spam-Mails, eines für Bildunterschriften. Jedes dieser Programme lernte nur seine eine Aufgabe. Ein Fundamentmodell dreht dieses Prinzip um. Es wird zuerst mit gewaltigen Mengen an Text, Bildern oder Programmcode aus dem Internet allgemein trainiert, ohne festes Ziel. Dabei lernt es Sprache, Zusammenhänge und Weltwissen. Erst danach wird dieses eine Modell für viele verschiedene Zwecke eingesetzt oder mit wenigen zusätzlichen Beispielen darauf zugeschnitten. Der Name kommt vom Fundament eines Hauses: Man gießt es einmal, und darauf lassen sich sehr unterschiedliche Gebäude errichten.

Ein Modell für tausend Anwendungen

Der wirtschaftliche Reiz liegt in der Wiederverwendung. Das Grundtraining ist extrem teuer und kann hunderte Millionen Euro kosten. Diese Kosten fallen aber nur einmal an. Danach kann dasselbe Modell einen Kundenservice bedienen, Verträge zusammenfassen oder Software schreiben. Die Anpassung an eine konkrete Aufgabe kostet oft nur einen winzigen Bruchteil davon.

Das verändert die Machtverhältnisse in der Tech-Branche. Nur wenige Konzerne können sich das Grundtraining leisten, weil es riesige Rechenzentren mit spezialisierten Chips erfordert. OpenAI, Google, Meta, Anthropic und einige chinesische Firmen dominieren dieses Feld. Alle anderen bauen ihre Produkte auf fremden Fundamentmodellen auf. Genau deshalb tauchen diese Namen so häufig in Börsennachrichten auf.

Es gibt auch eine Kehrseite. Wenn tausende Anwendungen auf demselben Modell beruhen, vererben sich dessen Fehler und Vorurteile überallhin. Verzerrt das Modell etwa bestimmte Berufsbilder, taucht diese Verzerrung in jeder Bewerbungssoftware wieder auf, die darauf aufsetzt. Fachleute sprechen deshalb von einem Klumpenrisiko.

Erst allgemein lernen, dann zuschneiden

Das Grundtraining läuft ohne menschliche Beschriftung ab. Beim Text funktioniert es meist so: Das Modell bekommt einen Satzanfang und muss das nächste Wort raten. Liegt es falsch, werden seine internen Werte minimal korrigiert. Diese Werte heißen Parameter, große Modelle haben hunderte Milliarden davon. Wiederholt man das milliardenfach, entsteht ganz nebenbei ein erstaunlich breites Sprachverständnis.

Danach folgt die Feinabstimmung. Menschen bewerten Antworten des Modells als hilfreich oder unbrauchbar, und das Modell lernt, sich an diesen Bewertungen zu orientieren. Erst dieser Schritt macht aus einem reinen Textfortsetzer einen brauchbaren Assistenten. Unternehmen können zusätzlich eigene Daten nachtrainieren, etwa das interne Handbuch einer Bank.

Oft reicht sogar noch weniger Aufwand. Man gibt dem Modell die Aufgabe einfach als Anweisung in Alltagssprache mit, gegebenenfalls mit zwei oder drei Beispielen. Das Modell selbst bleibt dabei unverändert. Diese Flexibilität ist der eigentliche Unterschied zu älteren KI-Systemen, die für jede neue Aufgabe komplett neu gebaut werden mussten.

Wo Fundamentmodelle im Hintergrund arbeiten

Im Alltag begegnet man ihnen meist, ohne es zu merken. Die Textvorschläge im Mailprogramm, die automatische Zusammenfassung eines Videos, die Suchantwort in ganzen Sätzen: Dahinter steckt fast immer ein Fundamentmodell eines großen Anbieters. Auch Programmierhilfen wie GitHub Copilot greifen auf solche Modelle zu.

In Nachrichtentexten taucht der Begriff häufig neben dem Wort Sprachmodell auf. Beide meinen Ähnliches, sind aber nicht identisch. Ein Sprachmodell arbeitet nur mit Text, ein Fundamentmodell kann auch Bilder, Ton oder Video verarbeiten. Jedes große Sprachmodell ist ein Fundamentmodell, umgekehrt gilt das nicht.

Politisch ist der Begriff inzwischen ebenfalls verankert. Die KI-Verordnung der Europäischen Union stellt besondere Anforderungen an solche Modelle, weil so viele Anwendungen von ihnen abhängen. Anbieter müssen dokumentieren, womit trainiert wurde, und Risiken bewerten. Wer Wirtschaftsnachrichten liest, wird dem Wort deshalb regelmäßig begegnen.