Serving-Kosten

Wenn ein Unternehmen einen KI-Chat oder eine Übersetzungsfunktion anbietet, muss diese Funktion rund um die Uhr erreichbar sein. Dazu laufen in Rechenzentren spezielle Computer, die jede eingehende Frage berechnen und eine Antwort zurückschicken. Dieses Bereitstellen und Beantworten nennt man in der Branche Serving. Die Kosten dafür heißen Serving-Kosten: Strom, Miete für die Rechner, Netzwerk, Personal für den Betrieb. Anders als der einmalige Aufwand, ein Modell überhaupt erst aus Beispieldaten lernen zu lassen, fallen Serving-Kosten dauerhaft an. Sie wachsen mit jeder Nutzerin und jedem Nutzer weiter.

Die Rechnung, die pro Antwort weiterläuft

Bei klassischer Software sind die Kosten für einen zusätzlichen Nutzer fast null. Eine Textverarbeitung kann man millionenfach kopieren, ohne dass jede Kopie Rechenzeit kostet. Bei KI-Diensten ist das anders. Jede Antwort muss neu berechnet werden, und jede Berechnung kostet Geld.

Deshalb sind Serving-Kosten für Anleger eine der wichtigsten Zahlen bei KI-Firmen. Ein Anbieter kann Millionen Abonnenten haben und trotzdem Verluste machen, wenn jede Anfrage mehr kostet als sie einbringt. Besonders heikel sind Pauschaltarife: Wer für einen Festpreis pro Monat unbegrenzt fragen darf, kann für den Anbieter zum Verlustgeschäft werden. Genau deshalb tauchen in Quartalsberichten Begriffe wie Bruttomarge im Zusammenhang mit KI-Produkten auf.

Eine Verwechslungsgefahr sollte man kennen. Trainingskosten sind eine große, sichtbare Investition, über die viel berichtet wird. Serving-Kosten sind unauffälliger, summieren sich aber über die Jahre oft zu einem größeren Betrag.

Was den Preis pro Anfrage nach unten drückt

Der größte Kostenfaktor sind Grafikchips, sogenannte GPUs. Das sind Spezialprozessoren, die sehr viele Rechnungen gleichzeitig ausführen können. Sie sind teuer in der Anschaffung und verbrauchen viel Strom. Wer solche Chips ungenutzt herumstehen lässt, verbrennt Geld. Ein zentrales Ziel im Betrieb ist deshalb, die Chips möglichst gut auszulasten.

Ein üblicher Trick ist das Bündeln von Anfragen. Statt eine Frage allein zu berechnen, sammelt das System kurz mehrere Fragen und rechnet sie gemeinsam durch. Das nutzt den Chip besser aus und senkt die Kosten pro Antwort. Der Preis dafür ist eine kleine Verzögerung für den Einzelnen. Betreiber müssen also zwischen billig und schnell abwägen.

Weitere Hebel setzen beim Modell selbst an. Man kann Zahlen im Modell gröber speichern, was Rechenzeit spart und die Antwortqualität nur leicht verändert. Man kann kleinere Modelle für einfache Fragen einsetzen und nur schwierige Fälle an das große, teure Modell weitergeben. Und man kann häufige Antworten zwischenspeichern, damit dieselbe Rechnung nicht zweimal läuft. In den letzten Jahren sind die Kosten pro Anfrage durch solche Verfahren stark gefallen.

Serving-Kosten in Preislisten und Quartalszahlen

Am direktesten sieht man sie in den Preislisten von KI-Anbietern. Dort steht ein Preis pro Million Tokens, also pro Million Textbausteine, in die Sätze zerlegt werden. Diese Preise sind nichts anderes als weitergegebene Serving-Kosten mit Aufschlag. Wer die Listen über zwei Jahre vergleicht, sieht die Kostenkurve deutlich nach unten zeigen.

In Nachrichten begegnet der Begriff meist in zwei Zusammenhängen. Erstens, wenn Konzerne Milliardenausgaben für Rechenzentren ankündigen. Zweitens, wenn Analysten fragen, ob sich ein KI-Angebot wirtschaftlich rechnet. Auch Meldungen über Nutzungsgrenzen, langsamere Gratisversionen oder abgeschaltete Funktionen haben oft hier ihre Ursache.

Als Nutzer merkt man Serving-Kosten indirekt. Gratisversionen bekommen kleinere Modelle oder ein Anfragelimit. Bezahlversionen liefern die teureren Modelle. Und wenn ein Dienst zu Spitzenzeiten langsamer antwortet, steckt oft ein voll ausgelastetes Rechenzentrum dahinter.