Time-to-First-Token

Wenn du einem Chatprogramm eine Frage stellst, passiert kurz gar nichts. Dann erscheint das erste Zeichen, und der Rest der Antwort läuft nach und nach ein. Genau diese erste Pause misst die Time-to-First-Token. Sie beginnt in dem Moment, in dem du auf Senden drückst, und endet, sobald das erste Stück Text sichtbar wird. Ein Token ist dabei die kleinste Texteinheit, mit der solche Systeme rechnen: mal ein ganzes kurzes Wort, mal nur eine Silbe oder ein Satzzeichen. Gemessen wird die Zeitspanne meist in Millisekunden, also in Tausendstelsekunden.

Warum die erste Pause über den Eindruck entscheidet

Menschen bewerten Software vor allem nach dem ersten Moment. Eine Antwort, die nach 200 Millisekunden zu laufen beginnt, wirkt sofort lebendig. Dieselbe Antwort, die drei Sekunden lang gar nichts zeigt, wirkt kaputt. Dabei kann die zweite Variante am Ende sogar früher fertig sein. Der Eindruck hängt also weniger an der Gesamtdauer als am Beginn.

Deshalb behandeln Anbieter die Time-to-First-Token als eigene Kennzahl, getrennt von der Gesamtzeit. Eine zweite wichtige Größe ist die Ausgabegeschwindigkeit, oft in Token pro Sekunde angegeben. Sie beschreibt, wie schnell der Text danach weiterläuft. Beide Zahlen zusammen ergeben erst ein vollständiges Bild. Ein System kann blitzschnell starten und dann quälend langsam weiterschreiben.

Für manche Anwendungen ist die Kennzahl sogar geschäftskritisch. Bei Sprachassistenten im Auto oder am Telefon empfinden Nutzer Pausen über etwa einer Sekunde als unangenehm. Bei einem Programmierassistenten, der Codevorschläge einblendet, gilt Ähnliches: Kommt der Vorschlag zu spät, tippt der Entwickler längst selbst weiter.

Was in der Wartezeit tatsächlich passiert

Bevor das Modell das erste Zeichen ausgeben kann, muss es deine gesamte Eingabe einlesen und verarbeiten. Diese Phase heißt Prefill. Das Modell rechnet dabei den kompletten Eingabetext auf einmal durch und legt Zwischenergebnisse ab, die es später wiederverwendet. Erst danach beginnt die zweite Phase, in der Token für Token erzeugt wird. Die Time-to-First-Token misst also im Kern, wie lange dieses Einlesen dauert.

Daraus folgt eine wichtige Regel: Je länger deine Eingabe, desto länger die erste Pause. Wer ein 40-seitiges PDF mitschickt, wartet spürbar länger als bei einer einzeiligen Frage. Auch die Warteschlange spielt hinein. Wenn viele Nutzer gleichzeitig anfragen, liegt die Anfrage erst einmal im Stau, bevor überhaupt gerechnet wird.

Techniker senken die Wartezeit mit mehreren Tricks. Ein häufiger ist das Zwischenspeichern von Eingaben: Teile eines Textes, die schon einmal verarbeitet wurden, muss man nicht erneut durchrechnen. Andere Ansätze verteilen die Prefill-Phase auf mehrere Grafikkarten oder stellen dafür eigene Server bereit. Auch die räumliche Nähe hilft, denn jedes Datenpaket braucht Zeit für den Weg durchs Netz.

Wo die Kennzahl in Preislisten und Tests auftaucht

Wer KI-Modelle über eine Schnittstelle in eigene Programme einbaut, findet TTFT in fast jedem Vergleichstest. Anbieter von Rechenkapazität werben mit niedrigen Werten, oft im Bereich von 100 bis 500 Millisekunden. Unabhängige Messdienste veröffentlichen solche Zahlen laufend und nach Modell getrennt. In Verträgen für Geschäftskunden stehen manchmal sogar garantierte Obergrenzen.

Im Alltag bemerkst du die Kennzahl vor allem indirekt. Wenn ein Chatbot bei komplizierten Anfragen erst lange schweigt, steckt oft eine besonders lange Eingabe oder ein überlastetes Rechenzentrum dahinter. Ein verbreiteter Irrtum ist, dass ein größeres Modell automatisch länger braucht. Entscheidend ist häufig eher die Länge der Eingabe und die aktuelle Auslastung.

Auch Produktdesign reagiert auf diese Zahl. Ladeanimationen, blinkende Punkte oder das schrittweise Einblenden von Text sollen die Pause überbrücken. Das ändert nichts an der gemessenen Zeit, aber viel am gefühlten Tempo.