Token-Marge

Anbieter von KI-Diensten rechnen nicht nach Wörtern ab, sondern nach kleinen Texthäppchen. Ein solches Häppchen heißt Token und umfasst meist ein kurzes Wort oder eine Silbe. Für tausend Token verlangt ein Anbieter einen festen Preis, oft nur Bruchteile eines Cents. Gleichzeitig kostet ihn jedes Token Geld, weil Spezialchips in Rechenzentren dafür arbeiten und Strom verbrauchen. Die Differenz zwischen dem Preis und diesen Kosten nennt man Token-Marge. Sie ist positiv, wenn der Anbieter am Verkauf verdient, und negativ, wenn er draufzahlt.

Warum Investoren auf den Cent pro Token schauen

Ein einzelnes Token kostet lächerlich wenig. Genau darin liegt die Falle. Große Chatbots verarbeiten täglich Milliarden Token, und jede winzige Differenz wird durch diese Menge zu einer riesigen Summe. Ein Zehntelcent Verlust pro tausend Token klingt harmlos, ergibt bei einer Billion Token im Monat aber einen dreistelligen Millionenbetrag.

Deshalb ist die Token-Marge für Analysten wichtiger als der Umsatz allein. Ein KI-Unternehmen kann seinen Umsatz vervielfachen und dabei jedes Jahr tiefer in die roten Zahlen rutschen. Wächst ein Geschäft mit negativer Marge, wächst der Verlust mit. Bei klassischer Software ist das anders: Dort kostet die millionste Kopie eines Programms fast nichts extra.

Ein verbreiteter Irrtum ist, dass die teuren Trainingsläufe der Modelle das eigentliche Kostenproblem sind. Training ist eine einmalige Ausgabe, die man über Jahre verteilen kann. Die Kosten für die laufende Nutzung fallen dagegen bei jeder einzelnen Antwort erneut an. Nur diese laufenden Kosten stecken in der Token-Marge.

Was die Rechnung nach oben und unten treibt

Auf der Einnahmenseite steht ein simpler Listenpreis. Anbieter verlangen für eingehende Token, also die Frage des Nutzers, meist weniger als für ausgehende Token, also die Antwort. Der Grund liegt in der Technik: Die Frage kann das System in einem Rutsch verarbeiten, die Antwort entsteht Token für Token nacheinander. Das ist deutlich aufwendiger.

Auf der Kostenseite zählt vor allem, wie lange ein Spezialchip für ein Token beschäftigt ist. Solche Chips kosten in der Miete mehrere Dollar pro Stunde. Je mehr Anfragen ein Anbieter gleichzeitig auf einen Chip packt, desto günstiger wird jedes einzelne Token. Dieses Bündeln funktioniert aber nur, wenn genug Nutzer gleichzeitig anfragen. Ein halb leeres Rechenzentrum hat schreckliche Margen, ähnlich wie ein Flugzeug mit zwanzig Passagieren.

Anbieter drücken die Kosten außerdem durch kleinere Modelle, durch gröberes Speichern der internen Zahlenwerte und dadurch, dass pro Anfrage nur ein Teil des Modells rechnet. Gegen sie arbeiten die neuen Modelle, die vor der Antwort lange nachdenken. Diese erzeugen intern hunderte zusätzliche Token, die der Nutzer nie sieht. Wer solche Modelle zum Pauschalpreis anbietet, riskiert seine Marge.

Die Kennzahl in Quartalszahlen und Preislisten

In den Geschäftsberichten großer Cloud- und KI-Firmen taucht der Begriff selten wörtlich auf. Stattdessen sprechen die Unternehmen von der Bruttomarge ihres KI-Geschäfts. Analysten rechnen daraus zurück, was ein Token wirklich kostet. Auffällig niedrige Bruttomargen gelten als Hinweis darauf, dass ein Anbieter seine Rechenkosten noch nicht im Griff hat.

Als Nutzer bemerkt man die Token-Marge indirekt. Sie ist der Grund, warum kostenlose Chatbots Nachrichtenlimits haben und auf schwächere Modelle umschalten. Sie erklärt auch die Preiskämpfe: Zwischen 2023 und 2025 sind die Preise pro Million Token bei vergleichbarer Qualität um mehr als das Hundertfache gefallen. Für Entwickler, die eigene Anwendungen auf solchen Modellen bauen, ist die Marge sogar direkt spürbar. Sie kaufen Token ein und müssen ihren Kunden mehr berechnen, als die Antworten sie kosten.