Tail-Latency

Wenn du auf einer Webseite etwas anklickst, dauert es eine kurze Zeit, bis eine Antwort kommt. Diese Wartezeit nennt man Latenz. Meistens ist sie sehr kurz, manchmal aber überraschend lang. Tail-Latency ist genau dieser lange, seltene Fall: die Wartezeit der langsamsten Anfragen. Der Name kommt daher, dass diese Fälle in einer Statistik am äußersten Rand liegen, im „Schwanz“ der Verteilung. Betreiber großer Dienste interessieren sich oft mehr für diesen Rand als für den Durchschnitt.

Warum der Durchschnitt lügt

Angenommen, ein Dienst antwortet im Schnitt in 100 Millisekunden. Das klingt gut. Trotzdem kann jede hundertste Anfrage drei Sekunden brauchen. Im Mittelwert verschwindet dieser Ausreißer fast vollständig. Der Nutzer erlebt ihn aber sehr deutlich.

Deshalb messen Ingenieure nicht den Mittelwert, sondern Perzentile. Die p99-Latenz ist der Wert, den 99 Prozent aller Anfragen einhalten. Nur das langsamste Prozent liegt darüber. Üblich sind außerdem p95 und p99,9. Je weiter hinten man messt, desto teurer wird es meist, den Wert zu verbessern.

Der Effekt verstärkt sich, weil moderne Anwendungen eine einzige Nutzeranfrage in viele Teilanfragen zerlegen. Eine Produktseite fragt Preis, Lagerbestand, Bewertungen und Werbung getrennt ab. Wenn die Seite auf alle Teile warten muss, zählt immer der langsamste. Bei hundert Teilanfragen mit je einem Prozent Ausreißerrisiko ist ein Ausreißer fast garantiert. So wird ein seltenes Problem zum Normalfall.

Woher die Ausreißer kommen

Ein häufiger Grund ist geteilte Hardware. Auf einem Server laufen viele Aufgaben gleichzeitig. Braucht eine davon plötzlich viel Rechenleistung, warten die anderen. Auch Wartungsarbeiten im Hintergrund bremsen, etwa das Aufräumen von Speicher oder das Schreiben von Sicherungskopien.

Ein zweiter Grund sind Warteschlangen. Anfragen kommen nicht gleichmäßig, sondern in Schüben. Trifft ein Schub ein, stellen sich Anfragen hinten an. Ähnlich wie an der Supermarktkasse: die meisten sind schnell durch, wer im falschen Moment kommt, wartet lang.

Gegen beides gibt es bewährte Tricks. Man kann dieselbe Anfrage an zwei Server schicken und die erste Antwort nehmen. Man kann Anfragen abbrechen, die zu lange dauern, und einen Ersatzwert liefern. Und man kann unwichtige Teile einer Seite nachladen, statt auf sie zu warten. Wichtig ist die Messung selbst: wer nur Mittelwerte protokolliert, sieht das Problem nie.

Tail-Latency bei Chatbots und Cloud-Diensten

Bei KI-Diensten ist Tail-Latency besonders sichtbar. Ein Sprachmodell antwortet normalerweise nach kurzer Zeit. Sind aber viele Nutzer gleichzeitig aktiv, stauen sich Anfragen vor den Grafikkarten. Dann erscheint der erste Buchstabe der Antwort erst nach mehreren Sekunden. Genau dieser Wert taucht in technischen Berichten als „Time to First Token“ auf, gemessen im 99. Perzentil.

Auch Cloud-Anbieter machen Zusagen dazu. In Verträgen für zugesicherte Dienstqualität stehen oft Perzentilwerte statt Durchschnitte. Wer eine API einkauft, sollte deshalb nachsehen, welches Perzentil gemeint ist. Ein Anbieter mit besserem Mittelwert kann bei p99 klar schlechter sein.

Im Alltag merkst du den Unterschied bei Videostreaming, Online-Spielen und Bezahlvorgängen. Meist läuft alles flüssig, gelegentlich ruckelt es sekundenlang. Diese Momente prägen den Eindruck stärker als die tausend gelungenen davor. Ein verwandter, aber anderer Begriff ist Durchsatz: er beschreibt, wie viele Anfragen ein System pro Sekunde schafft. Hoher Durchsatz und niedrige Tail-Latency stehen oft im Widerspruch, weil ein voll ausgelastetes System längere Warteschlangen bildet.