Base-Modell
Ein Base-Modell ist die Rohfassung eines KI-Sprachmodells: Es hat riesige Textmengen gelesen und kann Text fortsetzen, wurde aber noch nicht darauf getrimmt, Anweisungen zu befolgen oder höflich zu antworten. Aus dieser Rohfassung entstehen später durch zusätzliche Trainingsschritte die Chat-Programme, die man aus dem Alltag kennt.
Ein Base-Modell ist die erste, unfertige Stufe eines Computerprogramms, das Sprache verarbeitet. Es hat in einem monatelangen Rechenvorgang enorme Mengen an Text gelesen, etwa Bücher, Webseiten und Programmcode. Dabei hat es nur eine einzige Aufgabe gelernt: vorhersagen, welches Wort als Nächstes kommt. Genau das kann es danach auch sehr gut, und mehr zunächst nicht. Wer ihm eine Frage stellt, bekommt deshalb oft keine Antwort, sondern eine plausible Fortsetzung des Textes. Auf die Frage « Was ist die Hauptstadt von Frankreich? » schreibt es womöglich einfach drei weitere Prüfungsfragen dazu.
Die Rohfassung, aus der alle Chatbots entstehen
Fast jedes bekannte KI-Produkt beginnt als Base-Modell. Der teure Teil der Arbeit steckt genau hier: Das erste Training kostet je nach Größe zweistellige oder dreistellige Millionenbeträge und benötigt tausende spezialisierte Rechenchips. Alles, was danach kommt, ist im Vergleich billig. Deshalb ist das Base-Modell der eigentliche Vermögenswert eines KI-Unternehmens.
Aus einer einzigen Rohfassung lassen sich viele verschiedene Produkte ableiten. Ein Anbieter kann daraus einen Chat-Assistenten machen, eine Programmierhilfe oder ein Modell für medizinische Texte. Man muss dafür nicht jedes Mal von vorn anfangen. Das erklärt, warum bei einer Modellfamilie oft mehrere Varianten gleichzeitig erscheinen.
Wichtig ist die Abgrenzung zum sogenannten Instruct-Modell. Das ist dasselbe Modell nach der Nachbehandlung, also die Fassung, die Anweisungen befolgt. Wenn eine Firma ihr Modell frei zum Download stellt, veröffentlicht sie manchmal beide Fassungen. Forscher greifen dann gern zur Base-Version, weil sie noch nicht in eine bestimmte Richtung gedrängt wurde.
Vom Wortraten zur Rohfassung
Das Training funktioniert wie ein gigantisches Lückenspiel. Das Programm bekommt einen Textausschnitt und muss das nächste Wort erraten. Danach wird ihm das richtige Wort gezeigt. Lag es daneben, werden seine internen Stellschrauben minimal verändert. Dieser Vorgang wiederholt sich billionenfach.
Diese Stellschrauben heißen Parameter. Ein großes Modell hat davon hunderte Milliarden. Niemand stellt sie von Hand ein, sie ergeben sich allein aus den Daten. Nebenbei entsteht dabei eine Menge Weltwissen, denn wer den nächsten Satz in einem Chemiebuch vorhersagen will, muss etwas über Chemie mitbekommen haben.
Danach folgen die Feinschliff-Schritte. Beim sogenannten Instruction Tuning trainiert man das Modell mit Beispielpaaren aus Anweisung und passender Antwort. Anschließend bewerten Menschen verschiedene Antworten, und das Modell lernt, welche bevorzugt werden. Erst dadurch wird aus einem Textfortsetzer ein Gesprächspartner, der Fragen beantwortet und heikle Bitten ablehnt.
Wo Base-Modelle in den Nachrichten auftauchen
Im Alltag begegnet man Base-Modellen selten direkt. Wer ChatGPT oder einen ähnlichen Dienst benutzt, spricht immer mit der nachbehandelten Fassung. Sichtbar werden Base-Modelle vor allem auf Plattformen wie Hugging Face, wo Entwickler Modelle herunterladen. Dort steht im Namen oft ein Zusatz wie « base » oder « instruct ».
In Wirtschaftsmeldungen taucht der Begriff auf, wenn über Trainingskosten und Chipbedarf berichtet wird. Auch politische Debatten drehen sich um diese Stufe: Der Streit über Urheberrechte betrifft genau die Textmengen, die ins erste Training fließen. Und wenn ein Unternehmen ein Modell « quelloffen » nennt, ist meist gemeint, dass die fertig trainierten Parameter frei verfügbar sind.
Ein verbreiteter Irrtum ist, ein Base-Modell sei einfach ein kleineres oder schlechteres Modell. Das stimmt nicht. Es kann genauso groß und wissensreich sein wie die Endfassung, es ist nur ungezähmt. Firmen, die eine eigene Fach-KI bauen wollen, starten deshalb bewusst hier und legen ihren eigenen Feinschliff darüber.