Sprachmodell

Ein Sprachmodell ist ein Computerprogramm, das Texte fortsetzen kann. Es hat vorher enorme Mengen an Text gelesen: Bücher, Nachrichten, Webseiten, Foren. Daraus hat es gelernt, welche Wörter typischerweise aufeinander folgen. Wenn du ihm einen Satzanfang gibst, berechnet es das wahrscheinlichste nächste Wort. Dann hängt es dieses Wort an und rechnet wieder von vorn. So entstehen ganze Absätze, Wort für Wort. Das Programm schlägt also nichts nach, es rechnet mit Wahrscheinlichkeiten.

Vom Autovervollständigen zum Alleskönner

Lange galt diese Technik als Spielerei. Die Textvorschläge auf dem Handy sind im Kern dasselbe Prinzip, nur sehr viel einfacher. Ab etwa 2020 zeigte sich aber etwas Überraschendes: Wenn man solche Modelle stark vergrößert und mit sehr viel mehr Text trainiert, tauchen plötzlich Fähigkeiten auf, für die niemand sie gebaut hat. Sie übersetzen, fassen zusammen, schreiben Programmcode und beantworten Prüfungsfragen.

Der Grund liegt in der Aufgabe selbst. Um das nächste Wort wirklich gut vorherzusagen, reicht Grammatik nicht aus. Wer den Satz „Die Hauptstadt von Japan ist“ korrekt vervollständigen will, muss Weltwissen mitgelernt haben. Das Modell speichert also nebenbei sehr viel Faktenwissen, ohne dass jemand es ihm einzeln beigebracht hätte.

Genau deshalb ist der Begriff heute an der Börse relevant. Rund um Sprachmodelle sind Unternehmen mit Milliardenbewertungen entstanden, und die Nachfrage nach passenden Rechenchips hat ganze Branchen verändert. Wenn in den Nachrichten von einem neuen KI-Modell die Rede ist, ist fast immer ein Sprachmodell gemeint.

Wie aus Text ein Modell wird

Zuerst wird der Text in kleine Bausteine zerlegt, sogenannte Token. Ein Token ist meist ein kurzes Wort oder ein Wortteil. Jedes Token bekommt eine Liste von Zahlen zugeordnet, die seine Bedeutung im Verhältnis zu anderen Wörtern beschreibt. Wörter mit ähnlicher Bedeutung liegen in dieser Zahlenwelt nah beieinander.

Dann beginnt das Training. Das Modell bekommt einen Textausschnitt, bei dem das nächste Token verdeckt ist, und rät. Danach wird die richtige Lösung gezeigt. Liegt das Modell daneben, werden seine internen Stellschrauben leicht angepasst. Diese Stellschrauben heißen Parameter, große Modelle haben hunderte Milliarden davon. Der Vorgang wiederholt sich milliardenfach über Wochen hinweg.

Nach diesem Grundtraining folgt ein Feinschliff. Menschen bewerten Antworten des Modells als hilfreich oder unpassend, und das Modell wird in Richtung der guten Antworten nachjustiert. Erst dadurch wird aus einer Textmaschine ein brauchbarer Assistent. Ein häufiger Irrtum ist übrigens, das Modell würde im Internet nachschlagen. Standardmäßig tut es das nicht, es antwortet aus dem, was beim Training in den Parametern hängen geblieben ist. Deshalb erfindet es manchmal Fakten, die überzeugend klingen.

Sprachmodelle im Alltag und in Produkten

Am bekanntesten sind Chatprogramme wie ChatGPT, Gemini oder Claude. Dahinter steckt jeweils ein Sprachmodell mit einer Bedienoberfläche. Dieselbe Technik steckt aber auch in unauffälligeren Werkzeugen: in Übersetzern, in der Suchfunktion von Suchmaschinen, in Textvorschlägen in Office-Programmen und in Assistenten, die Programmierern Code vorschlagen.

In Firmen laufen Sprachmodelle oft im Hintergrund. Sie sortieren Kundenanfragen, fassen lange Verträge zusammen oder ziehen Zahlen aus Berichten heraus. Manche Unternehmen betreiben dafür kleinere Modelle auf eigenen Servern, weil ihre Daten das Haus nicht verlassen dürfen.

In Nachrichtentexten begegnet dir häufig die englische Abkürzung LLM für Large Language Model, also großes Sprachmodell. Gemeint ist dasselbe. Achte auf Angaben zur Parameterzahl oder zum Kontextfenster, also zur Textmenge, die ein Modell auf einmal überblicken kann. Beides sind gängige Kennzahlen, mit denen Anbieter ihre Modelle vergleichen.