Multi-Token-Prediction
Multi-Token-Prediction ist ein Trainings- und Rechenverfahren für Sprachmodelle, bei dem das Modell nicht nur das nächste Textstück vorhersagt, sondern gleich mehrere kommende auf einmal. Das kann das Training verbessern und die Textausgabe deutlich beschleunigen.
Programme wie ChatGPT erzeugen Text Stück für Stück. Sie zerlegen Sprache dafür in kleine Einheiten, sogenannte Token: mal ein ganzes Wort, mal eine Silbe, mal ein Satzzeichen. Üblicherweise sagt das Programm immer nur das nächste dieser Stücke voraus, hängt es an den Text an und beginnt von vorn. Multi-Token-Prediction bricht mit dieser Regel. Hier lernt das Programm, mehrere kommende Stücke gleichzeitig zu erraten, also zum Beispiel die nächsten vier statt nur das eine. Aus einem Schritt pro Textstück können so mehrere Textstücke pro Schritt werden.
Warum ein Blick weiter nach vorn hilft
Der offensichtliche Gewinn ist Tempo. Jeder einzelne Vorhersageschritt kostet Rechenzeit auf teuren Grafikchips. Wenn ein Modell pro Schritt zwei oder drei brauchbare Textstücke liefert, sinkt die Zahl der Schritte entsprechend. Anbieter berichten je nach Aufgabe von Beschleunigungen um den Faktor 1,5 bis 3. Bei einem Dienst mit Millionen Anfragen pro Tag ist das direkt spürbares Geld.
Der zweite Gewinn ist weniger sichtbar, aber für Fachleute interessanter. Ein Modell, das nur das nächste Stück vorhersagen muss, kann sich oft mit lokalen Mustern durchmogeln. Nach „guten“ kommt eben häufig „Tag“. Wer dagegen vier Stücke im Voraus treffen soll, muss eine grobe Vorstellung vom weiteren Satzverlauf haben. Dieser Zwang zur Vorausschau wirkt im Training wie ein zusätzliches Übungssignal.
Besonders deutlich zeigt sich der Effekt beim Programmieren und beim mehrschrittigen Rechnen. Dort hängen spätere Zeichen stark von einer Struktur ab, die man vorher planen muss. Forschungsergebnisse von Meta und die Modellberichte von DeepSeek nennen genau diese Bereiche als größte Nutznießer.
Mehrere Köpfe auf einem Rumpf
Technisch bekommt das Modell zusätzliche Ausgabeschichten, oft „Köpfe“ genannt. Der Hauptteil des Modells verarbeitet den bisherigen Text wie gewohnt. Kopf eins sagt dann das unmittelbar nächste Token voraus, Kopf zwei das übernächste, Kopf drei das Token danach. Alle Köpfe teilen sich dieselbe aufwendige Vorarbeit und kosten deshalb kaum extra Rechenzeit. Beim Training bewertet man alle Vorhersagen gemeinsam und korrigiert das Modell entsprechend.
Beim späteren Einsatz gibt es zwei Varianten. Manche Systeme nutzen die Zusatzköpfe nur während des Trainings und werfen sie danach weg. Das Modell bleibt dann normal, ist aber besser geworden. Andere behalten die Köpfe und verwenden sie zum Vorausraten. Das Modell schlägt mehrere Token auf einmal vor, und ein Prüfschritt kontrolliert, ob dieselben Token auch bei normaler Rechnung herausgekommen wären.
Diese Prüfung ist der entscheidende Punkt. Stimmen die Vorschläge, werden sie alle übernommen. Weicht der dritte Vorschlag ab, wird ab dort verworfen und neu gerechnet. Das Ergebnis bleibt dadurch identisch zur langsamen Methode, nur der Weg dorthin ist kürzer. Ein verwandtes Verfahren heißt spekulatives Dekodieren; dort liefert ein kleines Zusatzmodell die Vorschläge statt eigener Köpfe.
Wo die Technik heute steckt
Bekannt wurde Multi-Token-Prediction 2024 durch eine Forschungsarbeit von Meta und durch die Modelle von DeepSeek, die das Verfahren offen dokumentiert haben. Seither taucht der Begriff regelmäßig in technischen Berichten zu neuen Modellen auf, meist im Abschnitt über Trainingsziele oder Inferenzgeschwindigkeit. Wenn ein Anbieter mit besonders hohen Ausgabegeschwindigkeiten wirbt, steckt oft eine Form von Vorausrechnung dahinter.
Im Alltag merkt man davon nur indirekt etwas. Ein Chatbot, dessen Antwort ruckartig in kleinen Blöcken erscheint statt gleichmäßig Wort für Wort, arbeitet möglicherweise mit vorausgeratenen Token. Auch Code-Assistenten in Programmierumgebungen profitieren, weil sie ganze Zeilen statt einzelner Zeichen vorschlagen können.
Ein verbreiteter Irrtum ist, das Verfahren mache Modelle klüger im Sinne von mehr Wissen. Das tut es nicht. Es ändert, wie das Modell trainiert und wie schnell es rechnet. Und es hat Grenzen: je weiter ein Kopf in die Zukunft schaut, desto unsicherer wird seine Vorhersage. Deshalb arbeiten die meisten Systeme nur mit zwei bis vier Schritten Vorlauf.