Speculative Decoding

Programme wie ChatGPT schreiben ihre Antworten Stück für Stück. Jedes neue Wort erfordert einen kompletten Rechendurchgang durch ein sehr großes Programm. Das kostet Zeit, und der Nutzer wartet. Beim Speculative Decoding hilft ein zweites, viel kleineres Programm mit. Es rät mehrere kommende Wörter blitzschnell voraus. Das große Programm prüft diese Vorschläge dann gemeinsam in einem einzigen Durchgang. Stimmen sie, sind mehrere Wörter auf einmal fertig. Stimmen sie nicht, wird ab der ersten falschen Stelle korrigiert.

Warum das wichtig ist

Bei großen KI-Modellen ist nicht das Rechnen selbst der Engpass, sondern das Nachladen der Modellwerte aus dem Speicher. Für jedes einzelne Wort müssen Milliarden gespeicherter Zahlen durch die Grafikkarte wandern. Ob man dabei ein Wort oder fünf Wörter gleichzeitig prüft, macht kaum einen Unterschied. Genau diese Lücke nutzt Speculative Decoding aus.

Das Ergebnis: Antworten erscheinen oft zwei- bis dreimal schneller. Die Qualität bleibt dabei identisch, denn das große Modell hat immer das letzte Wort. Für Anbieter bedeutet das niedrigere Kosten pro Antwort. Für Nutzer bedeutet es weniger Wartezeit. Bei Anwendungen wie Sprachassistenten oder Programmierhilfen ist Tempo ein echtes Verkaufsargument.

Wie es funktioniert

Man braucht zwei Modelle. Das große heißt Zielmodell, das kleine heißt Entwurfsmodell. Beide arbeiten mit derselben Sprache und demselben Wortschatz. Das Entwurfsmodell ist oft zwanzigmal kleiner und entsprechend schneller.

Der Ablauf hat drei Schritte. Erstens schreibt das Entwurfsmodell einen kurzen Vorschlag, typischerweise vier bis acht Wörter. Zweitens bekommt das Zielmodell diesen Vorschlag komplett vorgelegt und berechnet, was es selbst an jeder Stelle geschrieben hätte. Drittens werden die beiden Reihen verglichen. Alle Wörter am Anfang, bei denen sich beide einig sind, werden übernommen. Beim ersten Widerspruch wird der Rest verworfen, und das Zielmodell setzt dort selbst ein Wort. Danach beginnt die nächste Runde.

Ein Vergleich hilft: Ein Praktikant tippt einen Absatz vor, die Chefin liest ihn einmal durch. Was passt, bleibt stehen. Ab dem ersten Fehler streicht sie und schreibt selbst weiter. Weil Lesen schneller geht als Schreiben, spart das insgesamt Zeit — auch wenn der Praktikant manchmal daneben liegt.

Wichtig ist die Trefferquote des Entwurfsmodells. Rät es gut, werden fast alle Vorschläge akzeptiert und der Gewinn ist groß. Rät es schlecht, war die Arbeit umsonst, und das Verfahren wird sogar minimal langsamer als ohne. Deshalb wählt man das Entwurfsmodell sorgfältig, oft eine kleinere Version aus derselben Modellfamilie. Bei vorhersehbaren Texten wie Programmcode funktioniert der Trick besonders gut, weil Fortsetzungen dort oft eindeutig sind.

Wo man dem Begriff begegnet

In Produkten sieht man das Verfahren nicht, man spürt es nur: Antworten erscheinen zügiger. Fast alle großen Anbieter setzen es in ihren Rechenzentren ein. Auch die verbreiteten Programme zum Betrieb von KI-Modellen unterstützen es standardmäßig, etwa vLLM oder llama.cpp.

In Nachrichten taucht der Begriff auf, wenn es um Kosten und Geschwindigkeit von KI geht. Chip-Hersteller und Cloud-Anbieter nennen Speculative Decoding gern als Grund für bessere Zahlen. Wer KI-Modelle auf dem eigenen Laptop laufen lässt, stößt in den Einstellungen ebenfalls darauf. Verwandte Ansätze tragen Namen wie Medusa oder EAGLE. Sie sparen sich das zweite Modell und lassen das Hauptmodell selbst mehrere Wörter vorschlagen.