Latenzgarantie

Wenn ein Computerdienst eine Anfrage bekommt, vergeht Zeit, bis die Antwort zurückkommt. Diese Wartezeit nennt man Latenz. Bei einer Anfrage an ein KI-System kann sie wenige Millisekunden betragen oder mehrere Sekunden. Eine Latenzgarantie ist ein festes Versprechen des Anbieters, wie lange diese Wartezeit höchstens dauern darf. Sie steht meist in einem Vertrag zwischen dem Anbieter und dem zahlenden Kunden. Wird die Zusage gebrochen, muss der Anbieter dafür geradestehen, etwa mit einer Gutschrift.

Wenn Millisekunden über Geld entscheiden

Für viele Anwendungen ist eine langsame Antwort so schlecht wie gar keine. Ein Handelssystem an der Börse muss in Bruchteilen einer Sekunde reagieren. Ein Sprachassistent im Auto wirkt kaputt, wenn er drei Sekunden schweigt. Ein Betrugsfilter muss entscheiden, bevor die Kartenzahlung durchgeht. In all diesen Fällen ist Tempo keine Bequemlichkeit, sondern die eigentliche Funktion.

Deshalb reicht es Unternehmen nicht, dass ein Dienst meistens schnell ist. Sie brauchen eine Zusage, auf die sie planen können. Ohne solche Zusage müssten sie eigene Server kaufen und betreiben. Die Latenzgarantie ist also das Argument, mit dem Cloud-Anbieter größere Kunden überhaupt gewinnen. Cloud bedeutet hier: Rechenleistung, die man bei einem fremden Anbieter mietet statt selbst zu besitzen.

Wichtig ist die Abgrenzung zur Verfügbarkeit. Verfügbarkeit sagt, wie oft ein Dienst überhaupt erreichbar ist. Latenz sagt, wie schnell er antwortet, wenn er erreichbar ist. Ein Dienst kann zu 99,99 Prozent laufen und trotzdem quälend langsam sein. Deshalb werden beide Werte getrennt zugesichert.

Warum Garantien fast immer mit Prozentzahlen arbeiten

Kein Anbieter verspricht ein Maximum für jede einzelne Anfrage. Ein einziger Netzwerkfehler würde die Zusage sonst sofort brechen. Stattdessen arbeitet man mit sogenannten Perzentilen. Eine typische Formulierung lautet: 95 Prozent aller Anfragen werden in unter 300 Millisekunden beantwortet. Die restlichen fünf Prozent dürfen langsamer sein, ohne dass der Vertrag verletzt ist.

Solche Zusagen halten Anbieter nicht durch gute Absicht, sondern durch Reserven. Sie halten mehr Rechenkapazität bereit, als im Normalfall nötig wäre. Diese Reserve fängt Lastspitzen ab, etwa wenn abends alle Nutzer gleichzeitig aktiv sind. Zusätzlich stehen Server geografisch nah bei den Nutzern, weil auch das Signal auf der Leitung Zeit braucht. Wird es trotzdem eng, werden unwichtigere Anfragen in eine Warteschlange geschoben.

Bei KI-Modellen kommt eine Besonderheit dazu. Ein Sprachmodell erzeugt seine Antwort Wort für Wort, deshalb hängt die Gesamtdauer von der Antwortlänge ab. Man misst darum oft die Zeit bis zum ersten Wort getrennt von der Geschwindigkeit danach. Eine Garantie über die gesamte Antwortzeit wäre sonst unfair oder bedeutungslos.

Latenzgarantien im Alltag und in den Wirtschaftsnachrichten

Als Privatnutzer schließt man solche Verträge selten selbst ab. Man merkt ihre Wirkung trotzdem. Ein Videostream, der ohne Ruckeln startet, oder eine Navigations-App, die sofort umplant, hängen an solchen Zusagen im Hintergrund. Auch Online-Spiele werben mit garantierten Reaktionszeiten ihrer Server.

In den Nachrichten tauchen Latenzgarantien meist unter der Abkürzung SLA auf. SLA steht für Service Level Agreement, also eine Vereinbarung über die zugesicherte Dienstqualität. Wenn ein Cloud-Anbieter neue KI-Rechenzentren ankündigt, geht es fast immer auch um härtere Zusagen dieser Art. Anbieter, die schnellere Antwortzeiten garantieren können, verlangen dafür deutlich höhere Preise.

Ein verbreiteter Irrtum ist, eine Latenzgarantie sei eine technische Eigenschaft des Systems. Sie ist zunächst ein juristisches Versprechen mit einer Strafe im Kleingedruckten. Diese Strafe ist außerdem meist begrenzt, oft auf einen Teil der Monatsrechnung. Wer viel Geld verliert, weil ein Dienst zu langsam war, bekommt selten den vollen Schaden ersetzt.