Round-Trip-Overhead

Wenn dein Handy eine Anfrage an einen entfernten Computer schickt, vergeht Zeit, bevor überhaupt gerechnet wird. Das Signal muss durch Kabel, Funkmasten und Verteilerstationen bis zum Rechenzentrum reisen. Die Antwort muss denselben Weg zurücknehmen. Diese reine Wegzeit für Hin- und Rückweg nennt man Round-Trip-Overhead. Das Wort Overhead bedeutet dabei: Aufwand, der nichts zum Ergebnis beiträgt, aber trotzdem anfällt. Er entsteht auch dann, wenn die Antwort auf der Gegenseite in Sekundenbruchteilen fertig ist.

Warum eine Antwort langsam wirkt, obwohl der Server schnell ist

Ein einzelner Umlauf innerhalb Deutschlands dauert oft 10 bis 30 Millisekunden. Zu einem Rechenzentrum in den USA sind es eher 100 bis 150 Millisekunden. Das klingt harmlos, und für eine einzelne Anfrage ist es das auch. Problematisch wird es, sobald sich diese Wartezeiten stapeln.

Genau das passiert bei modernen KI-Anwendungen ständig. Ein sogenannter Agent — ein Programm, das eine Aufgabe in mehreren Schritten selbstständig abarbeitet — fragt das Sprachmodell nicht einmal, sondern zwanzigmal. Dazwischen ruft er vielleicht noch eine Suchmaschine und eine Datenbank auf. Bei dreißig Umläufen à 120 Millisekunden sind allein 3,6 Sekunden vergangen, ohne dass ein einziger Gedanke berechnet wurde.

Ein verbreiteter Irrtum ist, man könne das Problem mit mehr Leitungsbandbreite lösen. Bandbreite bestimmt, wie viele Daten pro Sekunde durchpassen, nicht wie schnell das erste Bit ankommt. Ein breiterer Kanal hilft beim Herunterladen großer Dateien. Gegen die Wartezeit eines kurzen Hin und Her hilft er praktisch nicht.

Was die Zeit auf dem Weg verbraucht

Ein Teil der Verzögerung ist schlicht Physik. Licht in einem Glasfaserkabel legt rund 200.000 Kilometer pro Sekunde zurück. Frankfurt nach Kalifornien und zurück sind über 18.000 Kilometer Kabelweg, das ergibt schon knapp 100 Millisekunden Grundgebühr. Diesen Anteil kann kein Ingenieur wegoptimieren.

Der Rest entsteht durch Zwischenstationen. Router leiten das Datenpaket weiter, jeder Sprung kostet Bruchteile von Millisekunden. Dazu kommt der Verbindungsaufbau: Bevor Daten verschlüsselt fließen dürfen, tauschen Client und Server erst Begrüßungsnachrichten aus. Früher waren dafür mehrere zusätzliche Umläufe nötig, moderne Protokolle wie HTTP/3 kommen mit deutlich weniger aus.

Deshalb setzen Entwickler auf zwei Strategien. Erstens Bündeln: Statt zehn kleiner Anfragen schickt man eine große mit allen Daten. Zweitens Nähe: Man stellt Server dorthin, wo die Nutzer sind, und hält Verbindungen offen, statt sie für jede Anfrage neu aufzubauen. Bei Sprachmodellen hilft zusätzlich das Streaming — die Antwort wird Wort für Wort geschickt, sodass der Nutzer schon liest, während der Rest noch entsteht.

Von Videocalls bis zu KI-Agenten

Im Alltag merkst du den Effekt beim Online-Gaming. Der berüchtigte Ping ist nichts anderes als eine gemessene Umlaufzeit. Bei 20 Millisekunden fühlt sich ein Spiel direkt an, bei 200 Millisekunden hängt jede Bewegung hinterher. Auch bei Videokonferenzen entsteht das unangenehme Ins-Wort-Fallen durch genau diese Verzögerung.

In Tech-News taucht der Begriff heute vor allem bei KI-Werkzeugen auf. Wenn ein Anbieter damit wirbt, dass sein Assistent lokal auf dem Laptop läuft, ist ein Hauptargument der wegfallende Round-Trip. Auch Sprachassistenten stehen unter Druck: Ein Gespräch wirkt nur natürlich, wenn zwischen Frage und Antwort weniger als etwa 300 Millisekunden liegen. Davon geht ein erheblicher Teil für den Netzweg drauf.

Zur Abgrenzung: Round-Trip-Overhead ist nicht dasselbe wie Inferenzzeit. Inferenzzeit ist die Rechendauer des Modells selbst, Round-Trip-Overhead die Wartezeit drumherum. Wer eine Anwendung schneller machen will, sollte zuerst messen, welcher der beiden Anteile überwiegt. Oft liegt der größere Hebel nicht im Modell, sondern in der Zahl der Umläufe.