Antwortzeit

Du tippst eine Frage in ein Chatfenster und drückst Enter. Dann vergeht ein Moment, bis die erste Zeile der Antwort erscheint. Genau diese Spanne nennt man Antwortzeit. Sie wird meist in Millisekunden gemessen, also in Tausendstelsekunden. Bei Programmen, die eine Antwort in einem Rutsch liefern, ist die Sache einfach: Man misst vom Absenden bis zum vollständigen Ergebnis. Bei Sprachprogrammen, die ihre Antwort Wort für Wort ausgeben, unterscheidet man zwei Dinge — wie lange das erste Wort braucht, und wie schnell die folgenden nachrücken.

Warum Sekunden über die Nutzung entscheiden

Menschen sind bei Wartezeiten erstaunlich empfindlich. Unter etwa 100 Millisekunden wirkt eine Reaktion sofort. Bis rund einer Sekunde bleibt der Gedankengang ungestört. Ab etwa zehn Sekunden wenden sich viele Nutzer ab oder wechseln den Tab. Für Anbieter ist die Antwortzeit deshalb keine technische Randnotiz, sondern eine geschäftliche Kennzahl.

Bei KI-Diensten kommt ein zweiter Punkt dazu. Kurze Antwortzeiten erkauft man sich mit Rechenleistung, und Rechenleistung kostet. Ein Anbieter kann mehr Spezialchips bereitstellen, damit niemand in einer Warteschlange hängt. Diese Chips stehen dann aber in ruhigen Stunden ungenutzt herum. Zwischen schneller Antwort und niedrigen Kosten gibt es also einen echten Zielkonflikt.

Wichtig ist auch, dass ein Durchschnittswert wenig aussagt. Fachleute schauen deshalb auf sogenannte Perzentile. Der Wert P95 bedeutet: 95 Prozent aller Anfragen waren schneller als dieser Wert. Wenn der Durchschnitt bei einer Sekunde liegt, das P95 aber bei zwölf Sekunden, dann erleben viele Nutzer regelmäßig quälend lange Wartezeiten.

Woraus sich die Wartezeit zusammensetzt

Die Antwortzeit ist eine Summe aus mehreren Teilstrecken. Zuerst reist deine Anfrage durchs Netz zum Rechenzentrum, was je nach Entfernung einige Dutzend Millisekunden dauert. Dort landet sie oft in einer Warteschlange, weil gerade andere Anfragen bearbeitet werden. Dann erst beginnt die eigentliche Rechenarbeit auf den Chips. Zum Schluss muss die fertige Antwort denselben Weg zurück.

Bei einem Sprachmodell zerfällt die Rechenarbeit selbst noch einmal in zwei Phasen. Zuerst liest das Modell deine gesamte Eingabe ein und verarbeitet sie. Das erklärt, warum eine Frage mit zehn Seiten angehängtem Text spürbar träger startet als eine kurze Frage. Danach erzeugt das Modell die Antwort Stück für Stück, wobei jedes neue Wort einen eigenen Rechendurchgang braucht.

Entwickler haben mehrere Hebel. Häufig gestellte Fragen lassen sich zwischenspeichern, sodass die Antwort ohne Neuberechnung bereitliegt. Kleinere Modelle antworten schneller, sind aber weniger leistungsfähig. Und Server näher an den Nutzern verkürzen den Weg durchs Netz. Ein verbreiteter Trick ist außerdem das schrittweise Ausgeben der Antwort: Die Gesamtdauer ändert sich dadurch nicht, aber die gefühlte Wartezeit sinkt deutlich.

Antwortzeiten in Produkten und Schlagzeilen

Im Alltag begegnet dir die Antwortzeit überall dort, wo Software auf eine Eingabe reagiert. Eine Suchmaschine liefert Treffer in Sekundenbruchteilen. Ein Sprachassistent im Auto sollte nach dem Kommando nicht lange schweigen. Beim Online-Gaming spricht man vom Ping — auch das ist nichts anderes als eine Antwortzeit, nur zwischen deinem Gerät und dem Spielserver.

In Meldungen über KI-Anbieter taucht der Begriff meist im Vergleich auf. Firmen werben damit, dass ihr Modell schneller antwortet als das der Konkurrenz. Unabhängige Testseiten messen solche Werte laufend und veröffentlichen Ranglisten. Dort steht die Antwortzeit fast immer neben dem Preis pro Anfrage und der Qualität der Ergebnisse.

Ein häufiger Irrtum ist, Antwortzeit mit Durchsatz zu verwechseln. Der Durchsatz beschreibt, wie viele Anfragen ein System pro Sekunde insgesamt schafft. Beides zugleich zu erhöhen, ist schwierig: Wer viele Anfragen bündelt und gemeinsam berechnet, steigert den Durchsatz — die einzelne Anfrage wartet dadurch aber länger. Große Anbieter suchen hier ständig nach dem richtigen Mittelweg.