Token pro Sekunde

Wenn ein KI-Chatprogramm antwortet, erscheint der Text meist Stück für Stück auf dem Bildschirm. Diese Stücke heißen Token: kurze Textbausteine, oft ein Wort, eine Silbe oder ein Satzzeichen. Token pro Sekunde gibt an, wie viele dieser Bausteine das Programm in einer Sekunde ausgibt. Die Angabe ist also ein Tempomaß, ähnlich wie Kilometer pro Stunde beim Auto. Bei 50 Token pro Sekunde entstehen rund 35 bis 40 Wörter in derselben Zeit. Das ist deutlich schneller, als ein Mensch lesen kann.

Warum diese Zahl über das Nutzungsgefühl entscheidet

Für Nutzer ist Geschwindigkeit ein großer Teil der Qualität. Ein Modell, das kluge Antworten gibt, aber eine Minute dafür braucht, fühlt sich mühsam an. Als grobe Faustregel gilt: Ab etwa 10 Token pro Sekunde kann man beim Lesen mithalten, ab 30 wirkt die Ausgabe flüssig. Alles darunter fühlt sich zäh an, auch wenn der Inhalt stimmt.

Für Anbieter ist die Zahl vor allem eine Kostenfrage. Ein Rechenchip, der doppelt so viele Token pro Sekunde schafft, kann doppelt so viele Anfragen bedienen. Das halbiert die Kosten pro Antwort. Deshalb tauchen in Produktankündigungen von Chipherstellern und KI-Firmen fast immer Token-pro-Sekunde-Werte auf.

Wichtig ist eine Abgrenzung: Token pro Sekunde sagt nichts über die Qualität der Antwort. Ein kleines, schwaches Modell erreicht oft sehr hohe Werte, weil es weniger zu rechnen hat. Tempo und Können sind zwei getrennte Eigenschaften. Wer Modelle vergleicht, muss beide Zahlen nebeneinander betrachten.

Was die Geschwindigkeit begrenzt

Ein Sprachmodell erzeugt Text nicht in einem Rutsch. Es berechnet ein Token, hängt es an den bisherigen Text an und beginnt von vorn. Für jedes einzelne Token muss der Chip das gesamte Modell einmal durchgehen. Diese Schleife lässt sich nicht überspringen, weil jedes Token vom vorherigen abhängt.

Der Flaschenhals ist dabei meist nicht das Rechnen selbst, sondern das Lesen aus dem Speicher. Die Zahlenwerte eines großen Modells belegen viele Gigabyte. Sie müssen für jedes Token aus dem Grafikspeicher geholt werden. Wie schnell das geht, hängt vor allem an der Speicherbandbreite des Chips – also daran, wie viele Daten pro Sekunde durchfließen können.

Deshalb helfen zwei Tricks besonders. Erstens: das Modell kleiner machen, etwa indem man seine Zahlen gröber speichert. Zweitens: pro Anfrage nur einen Teil des Modells aktivieren, wie es Mixture-of-Experts-Modelle tun. Beides senkt die Datenmenge pro Token und hebt damit direkt die Token pro Sekunde.

Wo die Angabe in Tests und Produktnews auftaucht

In Vergleichstests von KI-Diensten steht die Zahl meist neben zwei anderen Werten. Der eine ist die Zeit bis zum ersten Token, also wie lange es dauert, bis überhaupt etwas erscheint. Der andere ist der Preis pro Million Token. Zusammen ergeben die drei Werte ein Bild von Tempo, Reaktionszeit und Kosten.

Auch wer ein Modell auf dem eigenen Rechner laufen lässt, sieht die Angabe. Programme für lokale KI zeigen nach jeder Antwort an, wie viele Token pro Sekunde erreicht wurden. Auf einem normalen Laptop sind das oft nur wenige, auf einer starken Grafikkarte deutlich mehr. So merkt man schnell, welche Modellgröße die eigene Hardware verträgt.

Ein typischer Irrtum: Firmen nennen manchmal riesige Werte wie mehrere tausend Token pro Sekunde. Diese Zahlen gelten fast immer für viele Nutzer gleichzeitig, nicht für eine einzelne Antwort. Man muss also unterscheiden zwischen dem Gesamtdurchsatz eines Servers und dem Tempo, das ein einzelner Nutzer erlebt.