Self-Speculation
Self-Speculation ist ein Trick, mit dem ein Sprachmodell seine eigenen Antworten schneller ausgibt: Ein abgespeckter Teil des Modells rät mehrere Wörter im Voraus, das vollständige Modell prüft diese Vorschläge in einem Rutsch. Das Ergebnis bleibt identisch, die Wartezeit sinkt oft um die Hälfte.
Programme wie ChatGPT schreiben ihre Antwort Stück für Stück. Sie berechnen ein Wortteil, hängen es an und beginnen von vorn. Jeder dieser Schritte kostet Zeit, weil das ganze riesige Programm einmal durchgerechnet werden muss. Self-Speculation dreht diesen Ablauf um: Zuerst rät eine schnelle, vereinfachte Version desselben Programms mehrere kommende Wortteile auf einmal. Danach prüft die vollständige Version alle Vermutungen in einem einzigen Rechendurchgang. Stimmen sie, werden sie übernommen; stimmen sie nicht, wird ab der ersten falschen Stelle neu gerechnet.
Warum Wartezeit teurer ist als Rechenleistung
Wer mit einem Chatbot arbeitet, merkt Verzögerungen sofort. Ein Modell, das drei Wörter pro Sekunde ausgibt, wirkt zäh. Dasselbe Modell mit zwanzig Wörtern pro Sekunde wirkt flüssig. An der Qualität ändert sich dabei nichts, nur am Gefühl der Nutzung. Genau deshalb investieren Anbieter viel Aufwand in solche Beschleunigungen.
Hinzu kommt ein technischer Grund. Moderne Grafikchips können enorm viele Rechnungen gleichzeitig ausführen. Bei der klassischen Wort-für-Wort-Erzeugung liegen sie aber die meiste Zeit brach. Der Flaschenhals ist nicht das Rechnen, sondern das Nachladen der Modellgewichte aus dem Speicher. Prüft der Chip fünf geratene Wortteile auf einmal, muss er die Gewichte nur einmal laden statt fünfmal.
Für Anbieter bedeutet das direkt bares Geld. Dieselbe Hardware bedient plötzlich deutlich mehr Nutzer parallel. In der Praxis berichten Entwickler je nach Aufgabe von Beschleunigungen zwischen dem 1,5-fachen und dem Dreifachen. Bei sehr vorhersehbaren Texten, etwa Programmcode, fällt der Gewinn größer aus als bei kreativen Texten.
Raten und Nachprüfen im selben Modell
Der ältere Verwandte dieses Verfahrens heißt spekulatives Decoding. Dort braucht man zwei getrennte Modelle: ein kleines zum Raten und ein großes zum Prüfen. Das kleine Modell muss extra trainiert und im Speicher gehalten werden. Genau diesen Zusatzaufwand vermeidet Self-Speculation. Das Vorsilbe « Self » bedeutet: Das Modell rät sich selbst voraus.
Technisch gibt es dafür mehrere Wege. Ein verbreiteter Ansatz überspringt beim Raten einen Teil der Modellschichten. Große Sprachmodelle sind aus dutzenden gestapelten Verarbeitungsstufen aufgebaut, die man sich wie Bearbeitungsstationen an einem Fließband vorstellen kann. Nutzt man nur jede zweite Station, entsteht ein ungenaues, aber sehr schnelles Vorschaumodell. Ein anderer Ansatz hängt kleine Zusatzköpfe an das Modell, die mehrere Wortteile gleichzeitig vorhersagen.
Entscheidend ist der Prüfschritt. Das vollständige Modell rechnet einmal über die gesamte geratene Wortfolge und vergleicht sie mit dem, was es selbst gewählt hätte. Alle Vorschläge bis zur ersten Abweichung werden akzeptiert, der Rest verworfen. Mathematisch ist garantiert, dass am Ende exakt derselbe Text herauskommt wie ohne den Trick. Self-Speculation macht das Modell also nicht dümmer oder ungenauer, sondern nur schneller.
Wo der Trick im Hintergrund mitläuft
Direkt sichtbar ist Self-Speculation nie. Sie steckt in der Software, die Modelle betreibt, etwa in Bibliotheken wie vLLM oder in den Diensten großer Anbieter. Wenn ein Chatbot-Update ohne neues Modell plötzlich spürbar flotter antwortet, steckt oft eine solche Beschleunigung dahinter. In Fachnews taucht der Begriff meist zusammen mit Stichworten wie Medusa, EAGLE oder Layer Skipping auf.
Besonders interessant ist das Verfahren für KI auf dem eigenen Gerät. Auf einem Laptop oder Smartphone ist der Speicher knapp, ein zweites Rate-Modell wäre lästig. Self-Speculation kommt mit dem einen vorhandenen Modell aus. Deshalb findet man den Ansatz zunehmend in Werkzeugen, mit denen man Sprachmodelle lokal laufen lässt.
Ein häufiger Irrtum: Self-Speculation habe etwas mit « Nachdenken » oder Selbstkorrektur zu tun. Das stimmt nicht. Das Modell überprüft nicht den Inhalt seiner Aussagen auf Wahrheit. Es prüft nur, ob die schnell geratenen Wortteile mit seiner eigenen normalen Ausgabe übereinstimmen. Falsche Behauptungen bleiben genauso falsch, sie erscheinen nur zügiger auf dem Bildschirm.