Foundation Model
Ein Foundation Model ist ein sehr großes KI-Modell, das mit riesigen Mengen an Text, Bildern oder Code allgemein trainiert wurde und danach für viele verschiedene Aufgaben weiterverwendet werden kann. Es ist die gemeinsame Grundlage hinter Produkten wie Chatbots, Übersetzern oder Bildgeneratoren.
Früher baute man für jede Aufgabe ein eigenes Computerprogramm, das aus Beispielen lernt: eines für Übersetzungen, eines für das Erkennen von Katzenbildern, eines für Spam-Filter. Jedes davon war eng auf seine Aufgabe zugeschnitten und konnte sonst nichts. Ein Foundation Model dreht dieses Vorgehen um. Es wird zuerst mit gewaltigen Mengen an Texten, Bildern oder Programmcode ganz allgemein trainiert, ohne festes Ziel. Dabei lernt es sehr breites Wissen darüber, wie Sprache und Bilder aufgebaut sind. Erst danach wird es auf einzelne Aufgaben angesetzt, und zwar auf viele verschiedene gleichzeitig. Der englische Name bedeutet wörtlich « Fundamentmodell »: es ist das Fundament, auf dem andere Anwendungen gebaut werden.
Ein Fundament, viele Gebäude darauf
Der wirtschaftliche Reiz liegt in der Wiederverwendung. Das teure Grundtraining passiert einmal und kostet je nach Größe zweistellige oder dreistellige Millionenbeträge. Danach kann dasselbe Modell einen Kundenservice-Chat betreiben, Verträge zusammenfassen und Programmcode ergänzen. Eine Firma, die eine KI-Anwendung baut, muss also nicht bei Null anfangen. Sie mietet den Zugang zu einem fertigen Foundation Model und passt es mit vergleichsweise wenig eigenen Daten an.
Das erklärt auch, warum in den Wirtschaftsnachrichten so viel über wenige Anbieter gesprochen wird. Wer ein solches Modell besitzt, sitzt an einer Stelle, an der sehr viele Produkte vorbeikommen. OpenAI, Google, Anthropic, Meta und Alibaba gehören zu den bekanntesten Entwicklern. Die Rechenzentren und Grafikchips, die für das Training gebraucht werden, sind ein Grund für die hohen Investitionen in der Branche.
Es gibt auch eine Kehrseite. Wenn tausende Anwendungen auf demselben Modell aufsetzen, erben sie alle dessen Schwächen. Ein Vorurteil in den Trainingsdaten oder eine typische Fehlerneigung wirkt dann nicht in einem Produkt, sondern in vielen. Fachleute nennen das ein Konzentrationsrisiko.
Vom Rohtraining zur fertigen Anwendung
Die erste Phase heißt Vortraining. Das Modell bekommt enorme Textmengen und lernt eine scheinbar banale Aufgabe: das jeweils nächste Wort vorhersagen. Weil es das milliardenfach übt, muss es dabei Grammatik, Sachwissen und Zusammenhänge mitlernen. Niemand sagt ihm, was ein Verb oder eine Hauptstadt ist. Diese Struktur ergibt sich aus den Daten.
Danach folgt die Feinabstimmung, auf Englisch Fine-Tuning. Hier wird das allgemeine Modell mit deutlich kleineren, sorgfältig ausgewählten Datensätzen nachgeschliffen. So lernt es zum Beispiel, hilfreich zu antworten statt einfach weiterzuplaudern, oder es lernt die Fachsprache einer Arztpraxis. Der Aufwand dafür ist ein Bruchteil des Vortrainings. Oft genügen auch reine Anweisungen im Eingabefeld, ohne dass am Modell selbst etwas verändert wird.
Ein häufiger Irrtum ist, Foundation Model und Sprachmodell gleichzusetzen. Sprachmodelle sind der bekannteste Fall, aber nicht der einzige. Es gibt Foundation Models für Bilder, für Musik, für Proteinstrukturen und für Wetterdaten. Entscheidend ist nicht die Datenart, sondern das Prinzip: breit trainieren, dann vielseitig anwenden.
Wo diese Modelle im Alltag stecken
Jeder Chatbot, den du im Browser benutzt, läuft auf einem Foundation Model. Dasselbe gilt für die Autovervollständigung in Programmierwerkzeugen, für automatische Untertitel und für Bildgeneratoren, die aus einer Beschreibung ein Bild machen. Auch die Suchmaschine, die dir eine Antwort statt einer Linkliste zeigt, greift darauf zurück.
In Nachrichtenmeldungen tauchen die Modelle meist unter Produktnamen auf, etwa GPT, Gemini, Claude oder Llama. Wenn dort von einer « neuen Modellgeneration » die Rede ist, geht es fast immer um ein neues Foundation Model. Rechtstexte wie die KI-Verordnung der EU verwenden dafür oft den Begriff « Allzweck-KI-Modell » und knüpfen daran besondere Pflichten für die Anbieter.