Serving-Bericht

Wenn ein KI-System fertig gebaut ist, beginnt der eigentliche Betrieb. Nutzer schicken Anfragen, das System rechnet und schickt Antworten zurück. Diesen Dauerbetrieb nennt man im Fachjargon « Serving », also das Ausliefern von Antworten. Ein Serving-Bericht ist die schriftliche Auswertung dieses Betriebs über einen bestimmten Zeitraum, meist einen Tag, eine Woche oder einen Monat. Darin steht, wie viele Anfragen eingegangen sind, wie lange die Antworten gedauert haben, was sie gekostet haben und wie oft etwas schiefging. Man kann ihn sich vorstellen wie den Monatsbericht eines Kraftwerks: nicht wie die Anlage gebaut wurde, sondern wie zuverlässig sie tatsächlich läuft.

Was der Betrieb wirklich kostet

Ein KI-Modell zu trainieren ist eine einmalige, teure Investition. Es dann jahrelang zu betreiben, ist eine Dauerbelastung. Jede einzelne Antwort verbraucht Rechenzeit auf teuren Spezialchips. Bei Millionen Anfragen pro Tag summieren sich Cent-Beträge zu sechsstelligen Rechnungen. Der Serving-Bericht ist oft das einzige Dokument, das diese Summe überhaupt sichtbar macht.

Deshalb interessieren sich nicht nur Techniker dafür, sondern auch Controlling und Geschäftsführung. Ein Unternehmen kann anhand des Berichts entscheiden, ob sich ein KI-Feature rechnet. Wenn eine Funktion pro Nutzer 40 Cent im Monat kostet, das Abo aber nur 5 Euro einbringt, ist das eine harte betriebswirtschaftliche Information. Umgekehrt zeigt der Bericht auch, wo Optimierungen tatsächlich gewirkt haben.

Ein zweiter Grund ist die Verlässlichkeit. Viele Anbieter versprechen ihren Kunden vertraglich eine bestimmte Verfügbarkeit, etwa 99,9 Prozent. Der Serving-Bericht liefert den Nachweis, ob dieses Versprechen gehalten wurde. Bei Verstößen drohen Rückzahlungen oder Vertragsstrafen.

Welche Kennzahlen darin stehen

Die wichtigste Zahl ist meist die Latenz, also die Zeitspanne zwischen Frage und Antwort. Sie wird selten als Durchschnitt angegeben, denn der verschleiert Ausreißer. Üblich ist stattdessen der sogenannte P95-Wert: die Zeit, die 95 von 100 Anfragen unterschreiten. Wenn dieser Wert bei drei Sekunden liegt, warten fünf Prozent der Nutzer noch länger. Genau diese Minderheit beschwert sich.

Daneben steht der Durchsatz, also wie viele Anfragen pro Sekunde bewältigt wurden. Dazu kommt die Fehlerquote: Anteil der Anfragen, die abgebrochen wurden oder eine Fehlermeldung erhielten. Bei Sprachmodellen wird zusätzlich die Zahl der verarbeiteten Textbausteine gezählt, der sogenannten Token. Aus dieser Zahl ergeben sich die Kosten fast direkt, weil Rechenleistung meist pro Token abgerechnet wird.

Erhoben werden diese Daten automatisch. Jede Anfrage hinterlässt einen Eintrag in einem Protokoll, ein Auswertungswerkzeug fasst diese Einträge zusammen. Der Bericht selbst ist also meist kein handgeschriebener Text, sondern ein automatisch erzeugtes Dashboard mit Grafiken. Verwechseln sollte man ihn nicht mit einem Evaluationsbericht: Der prüft, wie gut die Antworten inhaltlich sind. Der Serving-Bericht prüft nur, ob und wie schnell überhaupt geantwortet wurde.

Wer solche Berichte liest

Im Alltag begegnet man Serving-Berichten selten direkt, weil sie firmenintern bleiben. Ihre Folgen merkt man aber sofort. Wenn ein Chatbot abends langsamer antwortet als morgens, steht das am nächsten Tag in so einem Bericht. Und wenn ein Anbieter plötzlich eine Nutzungsgrenze einführt, war meist ein Kostenposten im Bericht der Auslöser.

Öffentlich sichtbar werden Teile davon auf Statusseiten großer Anbieter. Dort veröffentlichen Firmen wie OpenAI, Google oder Amazon, ob ihre Dienste gerade normal laufen. Das ist eine stark vereinfachte, öffentliche Version derselben Daten. In Quartalszahlen von Tech-Konzernen tauchen die aggregierten Zahlen ebenfalls auf, meist als Begründung für steigende Ausgaben für Rechenzentren.