Streaming (LLM-Ausgabe)

Wenn du einem Chatbot eine Frage stellst, erscheint die Antwort meist nicht auf einen Schlag. Sie baut sich auf, Wort für Wort, wie von einer unsichtbaren Hand getippt. Genau dieses Verhalten nennt man Streaming. Der Server schickt die Antwort nicht als ein fertiges Paket, sondern als laufenden Strom kleiner Häppchen. Die Alternative wäre: Du wartest zehn Sekunden auf einen leeren Bildschirm und bekommst dann den ganzen Text. Beides dauert insgesamt gleich lang. Nur fühlt sich das Warten völlig anders an.

Warum der tippende Text kein Effekt ist

Viele halten das Tippen für eine Spielerei, die Menschlichkeit vortäuschen soll. Das ist ein Irrtum. Es ist die technisch naheliegende Art, wie diese Programme arbeiten. Sprachmodelle erzeugen Text nämlich nicht als Ganzes, sondern in winzigen Schritten hintereinander. Streaming gibt jeden Schritt einfach sofort weiter, statt ihn zurückzuhalten.

Der Gewinn liegt in der wahrgenommenen Geschwindigkeit. Ein wichtiger Messwert heißt Zeit bis zum ersten Zeichen. Mit Streaming liegt sie oft unter einer Sekunde, auch wenn die vollständige Antwort zwanzig Sekunden braucht. Nutzer bewerten so ein System als deutlich schneller, obwohl es genauso lange rechnet. Das ist Psychologie, aber sie entscheidet darüber, ob ein Produkt sich träge anfühlt.

Es gibt einen zweiten, praktischen Vorteil. Du erkennst früh, ob die Antwort in die falsche Richtung läuft, und kannst abbrechen. Das spart dir Zeit und dem Anbieter Rechenleistung. Bei langen Ausgaben, etwa einer ganzen Seite Code, ist das ein echter Unterschied.

Vom Token zum Häppchen auf dem Bildschirm

Ein Sprachmodell arbeitet mit Tokens. Ein Token ist ein Textbaustein, meist ein kurzes Wort oder eine Silbe. Das Modell sagt immer nur den nächsten Baustein voraus, hängt ihn an und rechnet erneut. Eine Antwort mit 300 Wörtern entsteht also in mehreren hundert Einzelschritten. Typisch sind heute 20 bis 100 Tokens pro Sekunde, was etwa Lesegeschwindigkeit entspricht.

Beim Streaming bleibt die Verbindung zum Server offen, während das läuft. Jeder fertige Baustein wird sofort durch diese offene Leitung geschickt. Technisch nutzt man dafür meist ein Verfahren namens Server-Sent Events, bei dem der Server ohne neue Anfrage weitersenden darf. Am Ende folgt ein Signal, dass der Strom abgeschlossen ist.

Ein Vergleich macht es greifbar. Ohne Streaming ist es wie ein Paket per Post: es kommt vollständig oder gar nicht. Mit Streaming ist es wie ein Telefonat: du hörst den Satz, während er gesprochen wird. Das erklärt auch eine Einschränkung. Was schon gesendet ist, lässt sich nicht mehr zurücknehmen. Prüfungen, die den fertigen Text brauchen, etwa auf verbotene Inhalte, werden dadurch schwieriger.

Wo du gestreamte Antworten siehst

Jeder verbreitete Chat-Assistent nutzt Streaming, von ChatGPT über Gemini bis Claude. Auch Programmierwerkzeuge, die Code vorschlagen, zeigen ihre Vorschläge fortlaufend. Wer selbst eine Anwendung baut, findet in den Schnittstellen der Anbieter meist einen Schalter dafür. Er heißt oft schlicht stream und ist standardmäßig ausgeschaltet.

Nicht überall ist Streaming sinnvoll. Wenn ein Programm die Antwort weiterverarbeitet, etwa eine strukturierte Datenliste auswertet, braucht es den vollständigen Text. Halbe Daten sind dort nutzlos. In solchen Fällen wartet man bewusst auf die komplette Antwort.

In Tech-News begegnet dir Streaming vor allem im Zusammenhang mit Antwortzeiten. Firmen werben mit Tokens pro Sekunde und mit sehr kurzen Wartezeiten bis zum ersten Zeichen. Streaming ist dabei kein Trick, der schneller rechnet. Es verteilt die Wartezeit nur so, dass sie kaum auffällt.