Serving-Stack

Ein fertig trainiertes KI-Modell ist zunächst nur eine sehr große Datei mit Zahlen. Damit Millionen Menschen es gleichzeitig benutzen können, braucht es eine ganze Schicht an Software drumherum. Diese Schicht nimmt Anfragen entgegen, lädt das Modell auf die passenden Rechenchips, verteilt die Arbeit und schickt die Antwort zurück. Genau dieses Bündel aus Programmen nennt man Serving-Stack. Der englische Begriff „to serve“ bedeutet hier „ausliefern“: Das Modell wird an Nutzer ausgeliefert, so wie eine Website an Besucher ausgeliefert wird. Ein Serving-Stack ist also kein einzelnes Programm, sondern ein Stapel aufeinander aufbauender Bausteine.

Warum der Stack über Kosten und Wartezeit entscheidet

Das Training eines großen Modells passiert einmal und kostet dann viel Geld auf einen Schlag. Der Betrieb dagegen läuft jeden Tag weiter. Jede Anfrage eines Nutzers verbraucht Strom und belegt für Sekundenbruchteile teure Spezialchips. Wenn ein Anbieter täglich hunderte Millionen Anfragen beantwortet, summieren sich Bruchteile von Cents zu Millionenbeträgen.

Ein guter Serving-Stack kann dieselbe Hardware deutlich besser ausnutzen als ein schlechter. In der Praxis liegen zwischen einer naiven Lösung und einem optimierten System oft Faktoren von fünf oder zehn bei der Zahl der Anfragen pro Chip. Das Modell selbst bleibt dabei völlig unverändert. Deshalb ist der Stack ein wirtschaftlicher Hebel, über den in der Branche viel geredet wird.

Dazu kommt die Wartezeit. Nutzer brechen ab, wenn eine Antwort erst nach zehn Sekunden beginnt. Der Stack muss also gleichzeitig sparsam und schnell sein, und diese beiden Ziele stehen sich oft im Weg. Wer sehr viele Anfragen zu Paketen bündelt, spart Rechenzeit, lässt aber einzelne Nutzer länger warten.

Die Bausteine zwischen Anfrage und Antwort

Ganz vorne steht meist ein Zugangspunkt, an den Programme ihre Anfragen schicken. Dahinter sitzt ein Verteiler, der entscheidet, welcher Server die Anfrage bearbeitet. Erst danach kommt die eigentliche Inferenz-Engine, also das Programm, das das Modell rechnen lässt. Bekannte Beispiele für solche Engines sind vLLM, TensorRT-LLM oder SGLang.

Die wichtigste Technik im Inneren heißt Batching: Der Stack sammelt mehrere Nutzeranfragen und lässt sie gemeinsam durch das Modell laufen. Das lohnt sich, weil die Chips beim Bearbeiten einer einzelnen Anfrage die meiste Zeit auf Daten warten. Ein Vergleich hilft: Ein Bus, der zehn Leute gleichzeitig mitnimmt, ist pro Person günstiger als zehn Einzelfahrten. Moderne Stacks ersetzen abgeschlossene Anfragen laufend durch neue, statt auf ein volles Paket zu warten.

Ein zweiter Kernbaustein ist der Zwischenspeicher für bereits berechnete Textteile, der KV-Cache. Er verhindert, dass das Modell bei jedem neuen Wort den gesamten bisherigen Text noch einmal durchrechnet. Der Stack muss diesen Speicher geschickt verwalten, weil er schnell den knappen Grafikspeicher füllt. Dazu kommen Überwachung, Warteschlangen und Regeln, die einzelne Nutzer bremsen, wenn sie zu viele Anfragen schicken.

Serving-Stacks in Produkten und Schlagzeilen

Jedes Mal, wenn du einen Chatbot benutzt oder eine App eine KI-Funktion anbietet, arbeitet im Hintergrund ein Serving-Stack. Auch Übersetzungen in Browsern, Bildgeneratoren und Suchvorschläge laufen über solche Systeme. Sichtbar wird der Stack meist nur bei Störungen, etwa wenn ein Dienst überlastet ist und Anfragen ablehnt.

In Wirtschaftsnachrichten taucht der Begriff auf, wenn Anbieter ihre Preise pro Anfrage senken. Solche Preissenkungen gehen oft nicht auf neue Modelle zurück, sondern auf einen besseren Stack. Auch Firmen, die selbst kein Modell trainieren, verdienen Geld damit, fremde Modelle besonders effizient bereitzustellen.

Ein verbreiteter Irrtum ist, der Serving-Stack sei einfach die Hardware. Gemeint ist aber die Software darüber, die Hardware ist nur der Unterbau. Eine sinnvolle Abgrenzung: Die Inferenz ist der Rechenvorgang selbst, der Serving-Stack ist die Organisation drumherum. Ohne ihn bliebe das beste Modell eine Datei, die niemand nutzen kann.