Draft-Modell

Programme wie ChatGPT schreiben ihre Antworten Wort für Wort. Für jedes einzelne Wort muss das Programm einmal durchgerechnet werden, und bei sehr großen Programmen kostet das spürbar Zeit. Ein Draft-Modell ist ein zweites, viel kleineres Programm derselben Art, das denselben Text ebenfalls schreiben kann – nur schneller und etwas ungenauer. Es liefert einen schnellen Entwurf, den das große Programm anschließend gegenliest. Passt der Entwurf, wird er übernommen. Passt er nicht, korrigiert das große Programm ihn. Das englische Wort « draft » bedeutet genau das: Entwurf.

Warum Antworten dadurch schneller erscheinen

Die Zeit zwischen Frage und Antwort entscheidet mit darüber, ob sich ein Chatbot angenehm anfühlt. Nutzer merken Verzögerungen von einer halben Sekunde deutlich. Ein Draft-Modell kann die Ausgabe je nach Aufgabe etwa zwei- bis dreimal beschleunigen. Der Text bleibt dabei derselbe, den das große Modell auch allein produziert hätte. Genau das ist der entscheidende Punkt: Man gewinnt Tempo, ohne Qualität einzutauschen.

Für die Betreiber zählt außerdem das Geld. Jede Antwort verbraucht Rechenzeit auf teuren Grafikkarten, und diese Rechenzeit wird pro Sekunde bezahlt. Wenn ein großes Modell mehrere Wörter in einem Rutsch prüfen kann, statt sie einzeln zu erzeugen, sinken die Kosten pro Antwort. Bei Millionen Anfragen am Tag summiert sich das erheblich.

Eine Abgrenzung ist wichtig: Ein Draft-Modell macht die KI nicht klüger. Es ändert nichts daran, was das große Modell weiß oder wie gut es Aufgaben löst. Es verändert nur, wie schnell dieselbe Antwort entsteht. Wer bessere Antworten will, braucht ein besseres Hauptmodell, kein Draft-Modell.

Raten und Gegenlesen im Doppelpack

Das Verfahren heißt spekulatives Dekodieren, weil das kleine Modell auf gut Glück vorausrät. Es schreibt zum Beispiel vier oder fünf Wörter in einem Zug. Danach bekommt das große Modell den Entwurf vorgelegt und prüft alle Wörter gleichzeitig. Dieses gleichzeitige Prüfen ist der Trick: Für eine Grafikkarte kostet es kaum mehr Zeit, fünf Wörter zu bewerten als eines zu erzeugen.

Beim Prüfen vergleicht das große Modell Wort für Wort, ob es selbst dasselbe gewählt hätte. Alle Wörter bis zur ersten Abweichung werden übernommen. Ab der Abweichung wird der Rest des Entwurfs verworfen, und das große Modell setzt das nächste Wort selbst. Danach beginnt die Runde von vorn. Weil die Prüfung streng ist, kann das Ergebnis nie schlechter sein als ohne Draft-Modell.

Ein Vergleich hilft: Ein Assistent tippt eine E-Mail schon einmal vor, die Chefin liest sie durch. Stimmt alles, geht sie raus. Steht im dritten Satz Unsinn, wird ab dort neu geschrieben. Das lohnt sich nur, wenn der Assistent oft richtig liegt. Deshalb wählt man als Draft-Modell meist ein kleines Modell aus derselben Familie, etwa ein Modell mit einer Milliarde Bausteinen als Zuarbeiter für eines mit siebzig Milliarden. Rät es zu häufig daneben, kostet das ständige Verwerfen mehr Zeit, als der Trick einspart.

Wo die Technik bereits im Einsatz ist

Man sieht Draft-Modelle nie direkt, denn sie stecken im Hintergrund der Systeme. Große Chatdienste und Programmierhilfen wie Code-Autovervollständigung nutzen das Verfahren, um Antworten flüssiger erscheinen zu lassen. Auch auf Laptops und Smartphones ist es interessant, weil dort die Rechenleistung knapp ist. Gängige Software zum Betrieb von KI-Modellen bringt die Funktion inzwischen fertig mit.

In Fachnachrichten taucht der Begriff meist zusammen mit « spekulativem Dekodieren », « Latenz » oder « Tokens pro Sekunde » auf. Latenz meint die Wartezeit bis zum ersten Wort, Tokens pro Sekunde das Ausgabetempo danach. Wenn ein Anbieter meldet, sein Dienst antworte doppelt so schnell bei gleichem Modell, steckt oft genau diese Technik dahinter. Verwandte Ansätze sparen Rechenzeit anders, etwa indem sie Zahlen im Modell gröber speichern.