Tokens pro Sekunde

Wenn ein Chatprogramm antwortet, schreibt es seinen Text nicht auf einmal hin. Es setzt die Antwort aus kleinen Textbausteinen zusammen, einen nach dem anderen. Solche Bausteine nennt man Tokens: meist ein kurzes Wort, eine Silbe oder ein Satzzeichen. Im Deutschen entspricht ein Token grob drei bis vier Buchstaben. Tokens pro Sekunde sagt nun, wie viele dieser Bausteine das Programm in einer Sekunde schafft. Es ist also eine Geschwindigkeitsangabe, vergleichbar mit Kilometern pro Stunde beim Auto.

Warum Nutzer und Rechenzentren auf diesen Wert schauen

Für dich als Nutzer entscheidet der Wert darüber, ob eine Antwort flüssig erscheint. Ein Mensch liest ungefähr fünf bis zehn Tokens pro Sekunde. Alles darüber fühlt sich schnell an, weil der Text schneller entsteht, als du ihn lesen kannst. Bei 3 Tokens pro Sekunde wirkt derselbe Chatbot dagegen zäh und man wartet mit.

Für den Betreiber ist der Wert eine Kostenfrage. Ein Grafikchip im Rechenzentrum kostet Geld, egal ob er schnell oder langsam rechnet. Wer mit derselben Hardware doppelt so viele Tokens pro Sekunde herausholt, halbiert praktisch den Preis pro Antwort. Deshalb werben Chipfirmen und KI-Anbieter mit diesen Zahlen so offensiv wie Autohersteller mit der Beschleunigung.

Wichtig ist die Abgrenzung zur Qualität. Ein hoher Wert sagt nichts darüber, ob die Antwort stimmt. Ein kleines, schwaches Modell ist fast immer schneller als ein großes, kluges. Tempo und Klugheit sind zwei getrennte Größen, und in News werden sie gerne vermischt.

Was das Tempo bremst oder beschleunigt

Für jedes einzelne Token muss das Modell einmal komplett durchgerechnet werden. Dabei werden Milliarden gespeicherte Zahlen, die sogenannten Parameter, aus dem Speicher geholt und verrechnet. Der Engpass ist meist nicht das Rechnen selbst, sondern das Nachladen dieser Zahlen. Je größer das Modell, desto mehr muss pro Token bewegt werden – und desto weniger Tokens pro Sekunde kommen heraus.

Deshalb helfen vor allem drei Dinge. Erstens schnellerer Speicher auf modernen Spezialchips. Zweitens gröbere Zahlenformate: Wenn man jede Zahl statt mit 16 Bit nur mit 4 Bit speichert, muss weniger Daten bewegt werden. Drittens Bauweisen, bei denen pro Token nur ein Teil des Modells aktiv ist.

Man unterscheidet außerdem zwei Sichtweisen. Die eine zählt die Tokens für einen einzelnen Nutzer, die andere alle Tokens des ganzen Servers zusammen. Bearbeitet ein Server hundert Anfragen gleichzeitig, ist seine Gesamtzahl riesig, während jeder einzelne Nutzer nur mäßiges Tempo sieht. Wer Werbezahlen liest, sollte also prüfen, welche der beiden Angaben gemeint ist.

Wo die Zahl in Tests und Preislisten auftaucht

In Produktvorstellungen von Nvidia, AMD oder Google steht sie fast immer im Mittelpunkt. Firmen wie Groq oder Cerebras haben ihr ganzes Geschäft darauf aufgebaut, extrem hohe Werte zu liefern – teils über tausend Tokens pro Sekunde für ein einzelnes Gespräch. Vergleichsportale messen für gängige Chatdienste laufend Tempo, Wartezeit bis zum ersten Token und Preis.

Auch im Alltag merkst du den Unterschied. Ein Sprachmodell, das direkt auf deinem Handy läuft, schafft vielleicht 10 bis 30 Tokens pro Sekunde. Ein Dienst aus dem Rechenzentrum liefert oft ein Vielfaches davon. Bei Werkzeugen, die dir Programmcode vervollständigen, zählt jedes Zehntel, weil die Vorschläge sonst zu spät kommen.

Ein häufiger Irrtum: Manche halten die Angabe für ein Maß der Denkleistung. Sie beschreibt aber nur den Durchsatz einer Maschine. Vergleichbar sind Zahlen nur, wenn Modell, Chip, Zahlenformat und Textlänge gleich sind. Genau daran fehlt es in vielen Pressemitteilungen.