Foundation-Modell
Ein Foundation-Modell ist ein sehr großes KI-Modell, das mit riesigen Datenmengen allgemein vortrainiert wurde und danach für viele verschiedene Aufgaben weiterverwendet werden kann. Es ist eine Art Grundausstattung, auf der Firmen ihre konkreten Produkte aufbauen, statt jedes Mal von null zu beginnen.
Früher baute man für jede Aufgabe ein eigenes Computerprogramm, das aus Beispielen lernt: eines für Spracherkennung, eines für Übersetzungen, eines für die Erkennung von Katzen auf Fotos. Jedes dieser Programme lernte nur seine eine Aufgabe und konnte sonst nichts. Ein Foundation-Modell dreht das um. Man lässt ein einzelnes, sehr großes Modell zunächst gigantische Mengen an Text und Bildern durcharbeiten, ohne ihm dabei eine bestimmte Aufgabe zu stellen. Dabei lernt es breites Allgemeinwissen über Sprache, Zusammenhänge und Muster in der Welt. Erst danach richtet man es auf konkrete Aufgaben aus, und dafür genügen dann verhältnismäßig wenige zusätzliche Beispiele. Der Begriff wurde 2021 von Forschenden der Universität Stanford geprägt und hat sich seither in der Branche durchgesetzt.
Warum ein Modell für hunderte Anwendungen reicht
Der wirtschaftliche Reiz liegt in der Wiederverwendung. Das teure, monatelange Grundtraining passiert einmal und kostet oft hunderte Millionen Euro. Danach kann dasselbe Modell einen Kundenservice-Chat, eine Suchmaschine und ein Programmierwerkzeug antreiben. Die Kosten für das Grundtraining verteilen sich also auf sehr viele Produkte.
Das erklärt auch, warum nur wenige Konzerne solche Modelle selbst bauen. Man braucht dafür zehntausende spezialisierte Rechenchips und Zugang zu enormen Datenmengen. Namen wie OpenAI, Google, Meta, Anthropic oder Mistral tauchen deshalb in den Nachrichten immer wieder auf. Alle anderen Firmen sind Kunden dieser Anbieter und bauen ihre Produkte oben darauf.
Genau diese Abhängigkeit macht Fachleute nervös. Steckt in einem Foundation-Modell ein Fehler oder eine Verzerrung, erbt jede darauf aufbauende Anwendung das Problem. Ein einzelner falscher Baustein wirkt dann in tausenden Produkten gleichzeitig. Man spricht deshalb von einem Konzentrationsrisiko.
Vortraining, Feinabstimmung, Einsatz
In der ersten Phase, dem Vortraining, sagt das Modell milliardenfach voraus, welches Wort als Nächstes kommt. Niemand muss die Daten dafür von Hand beschriften, der Text liefert die richtige Antwort selbst mit. Bei jedem Fehler werden die internen Stellschrauben des Modells minimal nachjustiert. Diese Stellschrauben heißen Parameter, und große Modelle haben hunderte Milliarden davon.
In der zweiten Phase folgt die Feinabstimmung. Man trainiert das fertige Modell mit einer vergleichsweise kleinen, sorgfältig ausgewählten Datenmenge weiter. So lernt es zum Beispiel, höflich zu antworten, Arztbriefe zusammenzufassen oder juristische Fachsprache zu treffen. Dieser Schritt dauert Stunden oder Tage statt Monate.
Ein Vergleich hilft beim Verständnis: Das Vortraining entspricht der allgemeinen Schulbildung, die Feinabstimmung der Ausbildung im Betrieb. Wichtig ist die Abgrenzung zum Begriff großes Sprachmodell. Ein großes Sprachmodell arbeitet nur mit Text und ist damit ein Sonderfall. Foundation-Modelle können auch Bilder, Ton oder Proteinstrukturen verarbeiten.
Foundation-Modelle in Produkten und Schlagzeilen
Wer ChatGPT, Gemini oder Claude benutzt, spricht mit der feinabgestimmten Version eines Foundation-Modells. Auch die Bildgeneratoren, die auf Zuruf Illustrationen erzeugen, gehören dazu. In der Medizin durchsuchen solche Modelle Röntgenbilder, in der Forschung sagen sie die Faltung von Proteinen vorher. Das Muster ist immer gleich: ein breit trainiertes Grundmodell, darüber eine schmale Anpassung.
In Börsenmeldungen begegnet dir der Begriff meist im Zusammenhang mit Geld. Wenn ein Anbieter Milliarden einsammelt, geht das Geld überwiegend in Rechenzentren für das nächste Grundtraining. Auch die europäische KI-Verordnung nutzt einen verwandten Ausdruck: Sie spricht von KI-Modellen mit allgemeinem Verwendungszweck und stellt an besonders leistungsstarke Modelle zusätzliche Auflagen.
Ein häufiger Irrtum ist die Vorstellung, ein Foundation-Modell wisse alles. Sein Wissen endet an dem Tag, an dem die Trainingsdaten gesammelt wurden. Aktuelle Informationen muss man ihm bei der Anfrage mitliefern, etwa über eine angeschlossene Suche. Das Modell ist eine breite Grundlage, kein allwissendes Nachschlagewerk.