Token-Effizienz

Sprach-KI-Programme wie ChatGPT lesen Text nicht als Buchstaben und nicht als ganze Wörter. Sie zerlegen ihn in kleine Bausteine, sogenannte Token. Ein Token ist meist eine Silbe, ein kurzes Wort oder ein Wortteil; „Fußballplatz“ zerfällt zum Beispiel in mehrere Stücke. Jeder dieser Bausteine kostet Rechenzeit und damit Geld, egal ob er in der Frage steht oder in der Antwort. Token-Effizienz ist die Frage, wie viel brauchbares Ergebnis man pro Baustein herausholt. Ein System ist token-effizient, wenn es mit möglichst wenigen Bausteinen zum gleichen oder besseren Ergebnis kommt.

Was Token kosten

Anbieter von KI-Modellen rechnen fast immer pro Token ab. Typische Preise liegen bei wenigen Cent für tausend Bausteine. Das klingt harmlos, summiert sich aber schnell. Ein Unternehmen, das täglich Millionen Kundenanfragen beantworten lässt, verarbeitet Milliarden Token pro Monat. Wer dort zwanzig Prozent Token spart, spart zwanzig Prozent der Rechnung.

Token kosten außerdem Zeit. Das Modell erzeugt seine Antwort Baustein für Baustein, nacheinander. Eine doppelt so lange Antwort braucht also etwa doppelt so lange, bis sie fertig auf dem Bildschirm steht. Für ein Chatfenster ist das ein Unterschied zwischen einer Sekunde und fünf Sekunden Wartezeit.

Ein dritter Grund ist das begrenzte Gedächtnis. Jedes Modell hat ein Fenster, in dem nur eine bestimmte Zahl von Token gleichzeitig Platz hat. Wird der Text länger, fällt Älteres heraus oder muss gekürzt werden. Wer sparsam formuliert, bringt mehr echten Inhalt in dieses Fenster.

Woran man Token spart

Der erste Hebel liegt in der Eingabe. Viele Anwendungen schicken bei jeder Anfrage denselben langen Vorspann mit, etwa Regeln für das Verhalten des Modells. Kürzt man diesen Vorspann, sinken die Kosten bei jeder einzelnen Anfrage. Auch Datenbank-Auszüge, die man dem Modell mitgibt, lassen sich auf die wirklich passenden Absätze eindampfen.

Der zweite Hebel liegt in der Ausgabe. Modelle neigen dazu, höflich auszuschweifen und Fragen zu wiederholen. Eine klare Anweisung wie „antworte in maximal drei Sätzen“ halbiert die Antwortlänge oft. Manche Modelle „denken laut“, bevor sie antworten, und erzeugen dabei viele Zwischenschritte. Diese Zwischenschritte verbessern das Ergebnis bei Mathematik und Logik, kosten aber Token. Bei einfachen Fragen sind sie reine Verschwendung.

Ein häufiger Irrtum: Token-Effizienz sei dasselbe wie Kürze. Das stimmt nicht. Eine zu knappe Antwort, die nachgefragt werden muss, verbraucht am Ende mehr Token als eine gute erste Antwort. Auch die Zerlegung selbst spielt mit. Deutsche und besonders türkische oder arabische Texte brauchen bei vielen Modellen deutlich mehr Token als englische, weil die Bausteine an englischem Text ausgerichtet wurden.

Token-Effizienz in Preislisten und Quartalszahlen

Wer eine Programmierschnittstelle eines KI-Anbieters nutzt, sieht seine Rechnung direkt in Token aufgeschlüsselt, getrennt nach Eingabe und Ausgabe. In den Preislisten von OpenAI, Google oder Anthropic steht der Preis pro Million Token. Dort taucht auch das sogenannte Caching auf: wiederholte Textteile werden zwischengespeichert und günstiger abgerechnet. Das ist Token-Effizienz als Produktmerkmal.

In Nachrichten über KI-Firmen begegnet der Begriff meist im Zusammenhang mit Margen. Ein Anbieter, dessen Modell für die gleiche Aufgabe halb so viele Token braucht, kann günstiger anbieten oder mehr verdienen. Wenn ein neues Modell als „effizienter“ beworben wird, geht es fast immer um Kosten pro Token oder um Token pro Aufgabe.

Auch als Privatnutzer spürt man den Effekt. Abos für Chatbots haben Nutzungsgrenzen, die sich an der verarbeiteten Textmenge orientieren. Wer ein ganzes Buch in das Chatfenster kopiert, verbraucht sein Kontingent schneller als jemand, der nur das relevante Kapitel einfügt.