Inference-Kosten

Ein Computerprogramm, das aus Beispielen lernt, durchläuft zwei sehr verschiedene Phasen. Zuerst lernt es wochenlang aus riesigen Datenmengen, was einmalig passiert und sehr teuer ist. Danach wird das fertige Programm benutzt: Jemand stellt eine Frage, der Rechner arbeitet ein paar Sekunden, eine Antwort kommt heraus. Diese Benutzung nennt man Inferenz, und sie kostet jedes Mal aufs Neue Strom, Rechenzeit und Platz in einem Rechenzentrum. Genau diese laufenden Ausgaben pro Anfrage sind die Inference-Kosten. Man kann sie sich vorstellen wie die Spritkosten eines Autos: Der Kauf war einmal teuer, aber jede gefahrene Strecke kostet weiter.

Warum jede einzelne Antwort auf der Rechnung steht

Das Training eines großen Modells ist eine einmalige Investition. Die Inferenz dagegen ist eine Dauerbelastung, die mit jedem Nutzer wächst. Ein Chatbot mit hundert Millionen Nutzern beantwortet täglich Milliarden von Anfragen. Wenn eine Antwort nur einen Bruchteil eines Cents kostet, summiert sich das trotzdem zu enormen Beträgen.

Deshalb sind Inference-Kosten für Anbieter eine zentrale betriebswirtschaftliche Größe. Sie bestimmen, ob ein Abo für 20 Euro im Monat profitabel ist oder ein Verlustgeschäft. Vielnutzer können ein solches Abo rechnerisch sprengen, weil sie mehr Rechenzeit verbrauchen, als sie bezahlen. Manche Firmen begrenzen deshalb, wie viele Anfragen pro Stunde erlaubt sind.

Auch für die Börse ist die Zahl wichtig. Sinkende Inference-Kosten machen neue Anwendungen überhaupt erst bezahlbar, etwa KI in jeder Suchanfrage oder in jedem Textprogramm. Steigende Kosten bremsen umgekehrt die Verbreitung. Ein häufiger Irrtum ist, dass vor allem die Trainingskosten über den Erfolg entscheiden. Auf Dauer ist die Inferenz der größere Posten.

Woraus sich der Preis pro Anfrage zusammensetzt

Abgerechnet wird meist nach Tokens. Ein Token ist ein Textbaustein, ungefähr eine halbe bis eine ganze Silbe. Anbieter nennen Preise wie ein paar Cent pro Million Tokens. Dabei kostet der eingegebene Text oft weniger als der ausgegebene, weil das Modell die Antwort Stück für Stück erzeugen muss.

Der eigentliche Kostentreiber ist die Hardware. KI-Modelle laufen auf spezialisierten Grafikprozessoren, die zehntausende Euro kosten und viel Strom ziehen. Je größer das Modell, desto mehr dieser Chips braucht eine einzige Anfrage. Dazu kommen Kühlung, Netzwerk und die Mitarbeiter, die das Rechenzentrum betreiben.

Um die Kosten zu drücken, gibt es mehrere Hebel. Beim Quantisieren speichert man die Zahlen im Modell gröber, etwa mit 8 statt 16 Stellen Genauigkeit. Bei Mixture of Experts aktiviert das Modell pro Anfrage nur einen kleinen Teil seiner Bausteine. Und beim Caching merkt sich das System häufige Anfragen, statt sie neu zu berechnen. Zusammen haben diese Verfahren die Preise pro Token in wenigen Jahren um mehr als das Hundertfache gesenkt.

Wo die Zahl in Nachrichten und Produkten auftaucht

In Quartalsberichten von Tech-Konzernen tauchen Inference-Kosten indirekt auf, meist als Investitionen in Rechenzentren und als Druck auf die Gewinnmarge. Wenn eine Firma ankündigt, ihr neues Modell sei zehnmal günstiger im Betrieb, ist das eine Aussage über genau diese Kosten. Solche Meldungen bewegen regelmäßig Aktienkurse von Chipherstellern und Cloud-Anbietern.

Als Nutzer merkt man die Kosten an Produktentscheidungen. Kostenlose Versionen von Chatbots benutzen kleinere, billigere Modelle. Für das stärkste Modell muss man zahlen oder darf es nur begrenzt oft aufrufen. Auch die Unterscheidung zwischen schnellen Antworten und langem Nachdenken hängt daran: Ein Modell, das länger rechnet, kostet den Anbieter mehr.

Eine Abgrenzung hilft beim Lesen von News. Trainingskosten sind Schlagzeilen über Milliardenbeträge für ein einzelnes neues Modell. Inference-Kosten sind die stillen, dauerhaften Ausgaben danach. Wer beides verwechselt, versteht die Wirtschaftlichkeit der KI-Branche falsch.