Streaming-Renderer

Wenn ein Chatprogramm antwortet, entsteht die Antwort nicht auf einen Schlag. Sie wird Wortteil für Wortteil berechnet und in kleinen Häppchen an den Bildschirm geschickt. Ein Streaming-Renderer ist der Teil des Programms, der diese Häppchen sofort sichtbar macht. Rendern heißt dabei: aus rohem Text eine fertig formatierte Anzeige machen, mit Überschriften, Listen und hervorgehobenen Codestellen. Der Streaming-Renderer tut das laufend neu, obwohl der Text noch gar nicht vollständig ist. Deshalb wirkt es so, als würde jemand live tippen.

Warum das Tippgefühl über die Nutzung entscheidet

Eine vollständige Antwort kann zehn oder zwanzig Sekunden brauchen. Zwanzig Sekunden auf einen leeren Bildschirm zu starren, fühlt sich sehr lang an. Erscheint dagegen nach einer halben Sekunde das erste Wort, wirkt dieselbe Antwort schnell. Fachleute nennen die Zeit bis zum ersten sichtbaren Zeichen „time to first token“. Sie ist für das Nutzungsgefühl oft wichtiger als die Gesamtdauer.

Dazu kommt ein praktischer Vorteil: Man kann früh abbrechen. Wenn nach zwei Zeilen klar ist, dass die Antwort am Thema vorbeigeht, klickt man auf Stopp. Das spart dem Betreiber Rechenzeit und damit Geld. Ohne Streaming würde die Anfrage komplett zu Ende gerechnet, bevor man überhaupt sieht, was herauskommt.

Es gibt aber auch eine Schattenseite. Der Nutzer liest mit, während das Modell noch schreibt. Eine falsche Aussage steht also schon auf dem Schirm, bevor irgendein Prüfmechanismus sie stoppen könnte. Wer Antworten vorher auf problematische Inhalte kontrollieren will, muss das Streaming teilweise ausbremsen.

Vom Häppchen zur formatierten Anzeige

Die kleinen Häppchen heißen Tokens. Ein Token ist ein Textstück, meist ein kurzes Wort oder eine Silbe. Der Server schickt sie einzeln über eine offene Verbindung, die während der ganzen Antwort bestehen bleibt. Übliche Technik dafür sind sogenannte Server-Sent Events, ein einfacher Standard für solche Datenströme. Die Anzeige im Browser hängt sie an den bisherigen Text an.

Schwierig wird es bei der Formatierung. Die meisten Chatprogramme nutzen Markdown, eine einfache Auszeichnungssprache: Zwei Sternchen um ein Wort bedeuten Fettdruck, drei Backticks starten einen Codeblock. Beim Streaming trifft aber oft nur das erste Sternchen ein, das zweite kommt erst später. Der Renderer muss also entscheiden, was er mit halbfertigen Anweisungen macht.

Gute Umsetzungen arbeiten deshalb mit einer Art Puffer. Unvollständige Zeichenfolgen werden vorläufig als normaler Text gezeigt oder kurz zurückgehalten. Sobald das schließende Zeichen ankommt, wird der Abschnitt neu aufgebaut. Springt der Text dabei sichtbar hin und her, spricht man von Layout-Flackern. Das gilt als Zeichen für einen schlecht gebauten Streaming-Renderer.

Wo überall Text wortweise erscheint

Am bekanntesten ist der Effekt aus ChatGPT, Claude, Gemini und ähnlichen Diensten. Auch Programmierhilfen wie GitHub Copilot Chat und die Suchfunktionen mit KI-Zusammenfassungen arbeiten so. Wer eine eigene Anwendung baut, findet in fast jeder KI-Schnittstelle einen Schalter namens „stream“. Steht er auf wahr, kommt die Antwort als Strom, sonst als ein einziges Paket.

In Nachrichten über KI-Produkte taucht der Begriff meist im Zusammenhang mit gefühlter Geschwindigkeit auf. Anbieter werben mit niedriger Latenz, also kurzer Verzögerung bis zum ersten Zeichen. Ein häufiger Irrtum ist, dass Streaming das Modell schneller macht. Das tut es nicht: Die gesamte Rechenzeit bleibt gleich, sie wird nur anders verpackt.

Nicht überall ist Streaming sinnvoll. Wenn ein Programm eine Antwort im Hintergrund weiterverarbeitet, etwa als strukturierte Daten für eine Datenbank, bringt das schrittweise Anzeigen nichts. Dort wartet man lieber auf das vollständige Ergebnis. Streaming lohnt sich vor allem dort, wo ein Mensch direkt zusieht.