Next-Token-Prediction

Programme wie ChatGPT wirken, als würden sie einen Gedanken fassen und ihn dann aufschreiben. Tatsächlich tun sie etwas viel Einfacheres. Sie schauen sich den bisherigen Text an und raten, welches Stück davon als nächstes kommt. Solche Textstücke nennt man Tokens: mal ein ganzes Wort, mal nur eine Silbe oder ein Satzzeichen. Das geratene Stück wird an den Text angehängt, dann beginnt das Raten von vorne. Genau dieses schrittweise Weiterschreiben heißt Next-Token-Prediction.

Warum aus Raten Können wird

Auf den ersten Blick klingt das nach einer armseligen Fähigkeit. Wer nur das nächste Wort errät, sollte doch keine Matheaufgabe lösen können. Der Punkt ist: Um wirklich gut zu raten, muss man erstaunlich viel wissen. Steht im Text « Die Hauptstadt von Norwegen ist », ist nur ein einziges Wort richtig. Wer hier zuverlässig « Oslo » tippt, hat Geografie gelernt, ohne dass ihm jemand Geografie beigebracht hätte.

Dasselbe gilt für Grammatik, Höflichkeitsformen, Programmiersprachen und Argumentationsmuster. All das steckt in dem einen Ziel, den Text möglichst plausibel fortzusetzen. Deshalb genügt eine einzige Trainingsaufgabe für ein Modell, das später ganz verschiedene Dinge tut. Man braucht keine handgemachten Beispiele für jede Fähigkeit.

Genau darin liegt auch der wirtschaftliche Reiz. Trainingsmaterial ist einfach Text, und Text gibt es im Internet in gewaltigen Mengen. Niemand muss ihn vorher beschriften oder sortieren. Diese Kombination aus simpler Aufgabe und fast unbegrenztem Material ist ein Hauptgrund für den KI-Boom der letzten Jahre.

Vom Wahrscheinlichkeitsverteilung zum fertigen Satz

Das Modell nennt nie nur eine einzige Antwort. Es berechnet für jedes mögliche Token eine Wahrscheinlichkeit. Nach « Ich gehe zum » könnte « Arzt » bei zwölf Prozent liegen, « Bahnhof » bei acht, « Fenster » bei einem Bruchteil davon. Aus dieser Liste wird dann eines ausgewählt.

Wie mutig diese Auswahl ausfällt, steuert ein Wert namens Temperatur. Bei niedriger Temperatur nimmt das Modell fast immer den wahrscheinlichsten Vorschlag. Die Antworten werden zuverlässig, aber auch etwas langweilig und wiederholen sich. Bei hoher Temperatur greift es öfter zu unwahrscheinlicheren Wörtern. Das klingt kreativer, kippt aber schneller ins Unsinnige.

Beim Training läuft es umgekehrt. Man nimmt echten Text, deckt das nächste Token ab und lässt das Modell raten. Weicht die Vorhersage vom echten Wort ab, werden die internen Einstellungen minimal korrigiert. Das passiert milliardenfach. Ein verbreiteter Irrtum ist, das Modell würde dabei die Trainingstexte auswendig lernen und später abschreiben. Gespeichert werden keine Sätze, sondern Muster.

Was das für Chatbot-Antworten bedeutet

Man sieht das Prinzip jedes Mal, wenn ein Chatbot seine Antwort Wort für Wort auf den Bildschirm tippt. Das ist kein Effekt fürs Auge. Der Text entsteht wirklich Stück für Stück, und jedes Stück braucht eine neue Rechenrunde. Deshalb dauern lange Antworten länger als kurze und kosten den Anbieter auch mehr Geld.

Aus dem Prinzip folgt auch die bekannteste Schwäche dieser Systeme. Ein Modell sucht das plausibelste nächste Token, nicht das wahrste. Klingt eine erfundene Quellenangabe sprachlich überzeugend, wird sie ausgegeben. Solche selbstsicher vorgetragenen Falschaussagen nennt man Halluzinationen. Sie sind kein Bug, den man einfach wegprogrammiert, sondern eine direkte Folge der Bauweise.

In Nachrichten über KI taucht der Begriff meist in einer Debatte auf: Reicht bloßes Weiterschreiben für echtes Verstehen? Kritiker sprechen abwertend von einem « stochastischen Papagei ». Befürworter verweisen darauf, dass die Modelle Aufgaben lösen, die so nie im Trainingstext standen. Entschieden ist die Frage nicht.