Inference-System
Ein Inference-System ist die technische Umgebung, die ein fertig trainiertes KI-Modell im laufenden Betrieb betreibt und Anfragen von Nutzern beantwortet. Es kümmert sich um Warteschlangen, Verteilung auf Grafikkarten und Antwortzeiten – und bestimmt damit maßgeblich, was ein KI-Dienst pro Anfrage kostet.
Ein KI-Modell ist zunächst nur eine sehr große Datei mit Zahlen. Allein kann diese Datei nichts tun. Damit daraus ein nutzbarer Dienst wird, braucht es Software, die das Modell in den Speicher lädt, Anfragen entgegennimmt und Antworten zurückschickt. Genau diese Software samt der Rechner, auf denen sie läuft, nennt man ein Inference-System. Der englische Begriff « inference » bedeutet hier: das fertige Modell anwenden, statt es zu trainieren. Man kann sich das Modell als Motor vorstellen und das Inference-System als das restliche Auto – Getriebe, Tank, Lenkung.
Warum hier über Cent pro Antwort entschieden wird
Das Training eines großen Modells passiert einmal und kostet viel Geld. Der Betrieb dagegen läuft rund um die Uhr weiter. Bei einem Chatbot mit Millionen Nutzern summieren sich winzige Beträge pro Antwort schnell zu Millionenbeträgen im Monat. Ein gut gebautes Inference-System kann dieselbe Hardware doppelt oder mehrfach so gut auslasten wie ein schlechtes. Deshalb ist es für Anbieter oft wichtiger als das letzte bisschen Modellqualität.
Für Nutzer zählt vor allem die Wartezeit. Zwei Größen werden dabei getrennt gemessen. Die eine ist die Zeit bis zum ersten sichtbaren Wort, die andere die Geschwindigkeit, mit der der Text danach weiterläuft. Beide hängen fast vollständig vom Inference-System ab, nicht vom Modell selbst. Ein Dienst kann sich träge anfühlen, obwohl das Modell exzellent ist.
Hinzu kommt die Zuverlässigkeit. Grafikkarten fallen aus, Anfragen kommen in Wellen, und zu Stoßzeiten will jeder gleichzeitig etwas wissen. Ein Inference-System muss diese Schwankungen abfedern, ohne dass Anfragen verloren gehen. Genau deshalb bauen große Anbieter dafür eigene Teams auf.
Von der Anfrage bis zum fertigen Text
Zuerst landet eine Anfrage in einer Warteschlange. Das System sammelt mehrere Anfragen und schickt sie gemeinsam durch die Grafikkarte. Dieses Bündeln heißt Batching und ist der wichtigste Trick überhaupt. Eine Grafikkarte rechnet nämlich kaum langsamer für zwanzig Anfragen als für eine einzige. Moderne Systeme bündeln sogar laufend nach, sobald eine Anfrage im Bündel fertig ist.
Ein zweiter Baustein ist der Zwischenspeicher für bereits verarbeiteten Text. Ein Sprachmodell erzeugt Wörter nacheinander und müsste dabei theoretisch jedes Mal den ganzen bisherigen Text neu durchrechnen. Stattdessen merkt sich das System die Zwischenergebnisse. Dieser Speicher wird oft mit großem Aufwand verwaltet, weil er schnell mehrere Gigabyte belegt. Passt das Modell nicht auf eine einzelne Grafikkarte, verteilt das System es zusätzlich auf mehrere Karten.
Häufig verwechselt wird das Inference-System mit dem Modell selbst. Man kann dasselbe Modell in verschiedenen Systemen betreiben – mit deutlich unterschiedlichem Tempo und Preis. Umgekehrt läuft in einem System oft eine ganze Reihe verschiedener Modelle nebeneinander. Beides sind getrennte Bausteine.
Wo diese Systeme im Alltag arbeiten
Jedes Mal, wenn du einen KI-Chat benutzt, eine automatische Übersetzung abrufst oder dein Handy ein Foto beschreibt, arbeitet im Hintergrund ein Inference-System. Bei Handys läuft es teils direkt auf dem Gerät, bei großen Modellen fast immer in einem Rechenzentrum. Auch Suchmaschinen, Spam-Filter und Empfehlungen in Streaming-Diensten hängen daran.
In Nachrichten begegnet dir das Thema meist indirekt. Wenn ein Anbieter die Preise pro Anfrage senkt oder Nvidia über die Nachfrage nach Rechenchips spricht, geht es im Kern um Inference. Bekannte Bausteine solcher Systeme heißen vLLM, TensorRT-LLM oder Triton. Cloud-Anbieter verkaufen den Zugang dazu als fertigen Dienst, sodass Firmen nichts selbst bauen müssen.
