Inferenzkosten

Ein KI-Programm muss zuerst aus riesigen Datenmengen lernen. Diese Lernphase heißt Training und läuft einmal, oft über Wochen. Danach beginnt der Alltag: Nutzer stellen Fragen, und das fertige Programm rechnet eine Antwort aus. Diese Rechenarbeit im laufenden Betrieb nennt man Inferenz. Inferenzkosten sind das, was jede einzelne dieser Antworten an Strom, Rechenzeit und Hardware kostet. Sie fallen nicht einmal an, sondern bei jeder Anfrage aufs Neue.

Warum sie über Gewinn oder Verlust entscheiden

Das Training eines großen Modells kostet viel Geld auf einen Schlag. Danach ist diese Rechnung bezahlt. Die Inferenzkosten dagegen wachsen mit jedem neuen Nutzer. Ein Dienst mit hundert Millionen Nutzern zahlt hundert Millionen Mal. Deshalb kann ein erfolgreiches Produkt seinen Anbieter in die roten Zahlen bringen.

Das erklärt ein Muster, das man in Wirtschaftsnachrichten oft sieht. KI-Firmen begrenzen die Zahl der Anfragen pro Tag oder verlangen Abogebühren. Sie schalten für einfache Fragen kleinere, billigere Modelle ein. Und sie kaufen enorme Mengen an Grafikkarten, um überhaupt genug Rechenkapazität zu haben. All das sind Reaktionen auf laufende Inferenzkosten.

Ein häufiger Irrtum ist, dass KI vor allem beim Training teuer sei. Über die Lebensdauer eines beliebten Produkts übersteigen die Inferenzkosten die Trainingskosten meist deutlich. Analysten schätzen, dass bei stark genutzten Diensten der Großteil der Rechenzentrumsleistung in die Inferenz fließt, nicht ins Training.

Was den Preis pro Antwort nach oben treibt

Der wichtigste Faktor ist die Größe des Modells. Modelle bestehen aus Parametern, das sind einstellbare Zahlen, die beim Training festgelegt werden. Je mehr Parameter, desto mehr Rechenschritte pro Antwort. Ein Modell mit vielen hundert Milliarden Parametern braucht mehrere teure Spezialchips gleichzeitig, nur um überhaupt zu laufen.

Der zweite Faktor ist die Länge des Textes. Modelle zerlegen Sprache in kleine Bausteine, sogenannte Token, ungefähr Wortteile. Abgerechnet wird meist pro tausend Token, für die Frage und für die Antwort. Wer ein ganzes PDF in den Chat kopiert, verursacht also deutlich höhere Kosten als bei einer kurzen Frage. Modelle, die vor der Antwort ausführlich « nachdenken » und dabei viel Zwischentext erzeugen, sind aus demselben Grund teuer.

Gegen beides gibt es technische Gegenmittel. Bei der Quantisierung speichert man die Zahlen im Modell gröber, etwa mit acht statt sechzehn Nachkommastellen-Bits. Bei der Destillation trainiert man ein kleines Modell darauf, ein großes nachzuahmen. Und bei der Mixture-of-Experts-Bauweise aktiviert das Modell pro Anfrage nur einen Bruchteil seiner Bausteine. Solche Verfahren haben die Kosten pro Million Token in den letzten Jahren um Größenordnungen gesenkt.

Wo dir die Rechnung im Alltag begegnet

Am sichtbarsten ist das in den Preislisten der Anbieter. OpenAI, Google und Anthropic geben Preise pro Million Token an, getrennt für Eingabe und Ausgabe. Wer eine App programmiert, die ein solches Modell nutzt, zahlt genau diese Beträge. Deshalb wählen Entwickler bewusst kleinere Modelle für einfache Aufgaben aus.

Auch als normaler Nutzer spürst du die Kosten indirekt. Kostenlose Versionen von Chatbots nutzen schwächere Modelle oder haben Nachrichtenlimits. Bezahlversionen geben Zugriff auf die großen Modelle. Manche Funktionen laufen inzwischen direkt auf dem Handy, weil das dem Anbieter keine Serverkosten verursacht.

In Börsennachrichten taucht der Begriff auf, wenn es um Rechenzentren und Stromverbrauch geht. Steigende Inferenzkosten sind ein Grund, warum Technologiekonzerne Milliarden in Chips und eigene Kraftwerke stecken. Wichtig ist dabei die Abgrenzung: Inferenzkosten sind reine Betriebskosten und nicht dasselbe wie der Preis, den du am Ende zahlst. Wie viel davon der Kunde trägt, entscheidet das Geschäftsmodell.