Serving-Schicht
Die Serving-Schicht ist der Teil eines KI-Systems, der fertig trainierte Modelle für echte Nutzeranfragen bereitstellt. Sie nimmt Anfragen an, verteilt sie auf Rechner, holt die Antwort vom Modell und schickt sie zurück.
Wenn du einer KI eine Frage stellst, passiert zwischen deinem Klick und der Antwort mehr als nur Rechnen. Deine Anfrage muss über das Internet an einen Rechner im Rechenzentrum geschickt werden. Dort muss entschieden werden, welcher Rechner sie bearbeitet und in welcher Reihenfolge. Genau diese Vermittlungsarbeit übernimmt die Serving-Schicht. Sie ist die Software zwischen der Anwendung, die du bedienst, und dem fertig trainierten Modell, das die Antwort erzeugt. Das englische Wort « to serve » heißt hier so viel wie « bereitstellen » oder « ausliefern ».
Warum Anbieter an dieser Zwischenschicht sparen wollen
Ein KI-Modell zu trainieren kostet einmal sehr viel Geld. Es dann Millionen Menschen täglich anzubieten, kostet dauerhaft Geld. Diese laufenden Kosten entstehen fast alle in der Serving-Schicht. Sie entscheidet, wie viele Anfragen ein einzelner Spezialchip pro Sekunde schafft. Verdoppelt man diese Zahl, halbiert man grob die Kosten pro Antwort.
Deshalb ist die Serving-Schicht ein wichtiges Geschäftsthema, nicht nur ein technisches. Anbieter wie OpenAI, Google oder Anthropic konkurrieren nicht allein über die Qualität ihrer Modelle. Sie konkurrieren auch darüber, wer dasselbe Modell billiger betreiben kann. Wer hier effizienter arbeitet, kann niedrigere Preise anbieten oder mehr verdienen.
Für Nutzer zählt außerdem die Wartezeit. Fühlt sich ein Chatbot träge an, springen Leute ab. Die Serving-Schicht bestimmt maßgeblich, ob die ersten Wörter nach einer halben Sekunde oder erst nach fünf Sekunden erscheinen. Ein häufiger Irrtum ist, dass ein langsamer Chatbot am Modell liegt. Oft liegt es an einer überlasteten Serving-Schicht.
Von der Anfrage bis zum ersten Wort
Am Eingang steht meist eine Schnittstelle, an die Programme ihre Anfragen schicken. Danach kommt ein Verteiler, der die Anfragen auf viele Rechner streut. Man nennt ihn Load Balancer, also Lastverteiler. Er sorgt dafür, dass nicht ein Rechner erstickt, während andere leerlaufen. Ist gerade viel Andrang, landen Anfragen in einer Warteschlange.
Auf den Rechnern selbst läuft die eigentliche Serving-Software. Ihr wichtigster Trick heißt Batching: Sie sammelt mehrere Anfragen und lässt das Modell sie gemeinsam bearbeiten. Grafikchips rechnen mit vielen Daten gleichzeitig kaum langsamer als mit einer einzelnen Anfrage. Deshalb ist Bündeln fast geschenkte Effizienz. Ein zweiter Trick ist das Zwischenspeichern von Rechenergebnissen, damit dieselbe Arbeit nicht zweimal gemacht wird.
Man kann sich die Serving-Schicht als Küchenorganisation eines Restaurants vorstellen. Das Modell ist der Koch, die Bestellungen sind die Anfragen. Die Serving-Schicht ist alles andere: Kellner, Bestellzettel, Reihenfolge, mehrere Gerichte gleichzeitig auf dem Herd. Am Kochen ändert sie nichts, an der Zahl der Gäste pro Abend sehr viel. Wichtig ist die Abgrenzung: Das Modell liefert die Fähigkeit, die Serving-Schicht liefert den Betrieb.
Wo der Begriff in News und Produkten auftaucht
Du begegnest der Serving-Schicht bei jeder Nutzung von ChatGPT, einer Übersetzungs-App oder einer Bildersuche. Sichtbar wird sie meist nur im Fehlerfall. Meldungen wie « Server überlastet », « Bitte später erneut versuchen » oder ein Tageslimit an Anfragen kommen aus dieser Schicht. Auch die Beobachtung, dass ein Dienst abends langsamer antwortet, gehört dazu.
In Wirtschaftsnachrichten erscheint der Begriff bei Kosten und Kapazität. Firmen berichten etwa, dass sie den Preis pro Million verarbeiteter Texteinheiten deutlich gesenkt haben. Häufig steckt dahinter eine verbesserte Serving-Schicht, nicht ein neues Modell. Bekannte Software aus diesem Bereich heißt vLLM, TensorRT-LLM oder Triton. Solche Namen tauchen in Fachmeldungen und Stellenanzeigen auf.
Auch Unternehmen, die KI nur einkaufen, brauchen eine eigene Serving-Schicht. Wer ein Modell selbst auf gemieteten Rechnern betreibt, muss Verteilung und Warteschlangen selbst organisieren. In Ausschreibungen liest man dann Anforderungen an Antwortzeiten und Verfügbarkeit. Wer diese Begriffe kennt, versteht solche Meldungen deutlich schneller.
