Prompt Processing

Prompt Processing

Prompt Processing bezeichnet die Phase, in der ein KI-Sprachmodell die Eingabe des Nutzers vollständig einliest und verarbeitet, bevor es das erste Wort seiner Antwort erzeugt. Diese Phase ist rechenintensiv und hat direkten Einfluss darauf, wie lange man auf eine Antwort wartet.

Wenn man einem KI-Sprachmodell eine Frage stellt, passieren zwei Dinge nacheinander. Zuerst liest das Modell die gesamte Eingabe — also die Frage, den Gesprächsverlauf und alle Zusatzinformationen — in einem Zug durch. Diese Phase heißt Prompt Processing oder auch Prefill. Erst danach beginnt das Modell, Wort für Wort zu antworten. Die beiden Phasen sehen für den Nutzer ähnlich aus, laufen aber technisch sehr verschieden ab. Prompt Processing endet unsichtbar; was man auf dem Bildschirm sieht, ist bereits die zweite Phase.

Warum Prompt Processing über die Wartezeit entscheidet

Die Zeit, die zwischen dem Absenden einer Nachricht und dem ersten erscheinenden Wort der Antwort vergeht, heißt Latenz. Sie hängt fast vollständig vom Prompt Processing ab. Wer ein kurzes Gespräch führt, wartet kaum. Wer aber ein langes Dokument zur Analyse einfügt, gibt dem Modell deutlich mehr zu verarbeiten — und wartet entsprechend länger.

Das ist kein Fehler, sondern eine physikalische Grenze. Das Modell muss jeden Teil der Eingabe verstehen, bevor es sinnvoll antworten kann. Wer einen Vertrag von 50 Seiten in den Chat lädt, stellt das Modell vor dieselbe Aufgabe wie ein Anwalt, der diesen Vertrag erst lesen muss, bevor er eine Frage dazu beantwortet. Unterschied: Das Modell braucht Sekunden, ein Anwalt Stunden — aber die Lektüre selbst entfällt für keinen von beiden.

Für Unternehmen, die KI-Dienste betreiben, ist Prompt Processing ein wesentlicher Kostentreiber. Je länger der Prompt, desto teurer jede einzelne Anfrage. Deshalb wird in der Forschung intensiv daran gearbeitet, diese Phase zu beschleunigen — unabhängig von der Frage, wie schnell das Modell danach antwortet.

Was das Modell in dieser Phase tatsächlich tut

Während des Prompt Processings berechnet das Modell für jedes einzelne Wort — genauer: für jeden Textbaustein, genannt Token — mathematische Repräsentationen. Diese Repräsentationen halten fest, in welcher Beziehung ein Token zu allen anderen Tokens im Text steht. Ein Modell, das den Satz „Die Bank am Fluss war nass“ liest, muss zum Beispiel verstehen, dass „Bank“ hier kein Geldinstitut meint. Das geschieht durch diese Berechnungen.

Die Ergebnisse werden in einem sogenannten KV-Cache gespeichert — einer Art Notizblock, auf den das Modell während der Antwortphase zurückgreift. Es muss den Prompt dann nicht erneut durchrechnen. Ohne diesen Cache würde jedes neu erzeugte Wort dieselbe Arbeit auslösen wie das gesamte Prompt Processing — das wäre viele Male langsamer.

Wichtig ist der Unterschied zur zweiten Phase, dem sogenannten Decoding oder Token Generation. Dort erzeugt das Modell Wort für Wort die Antwort — und das geht grundsätzlich nicht zu parallelisieren, weil jedes neue Wort vom vorherigen abhängt. Beim Prompt Processing hingegen können alle Token der Eingabe gleichzeitig verarbeitet werden. Das macht diese Phase schneller als das Decoding, aber auch deutlich rechenintensiver pro Zeiteinheit.

Wo Prompt Processing in der Praxis sichtbar wird

Jeder, der schon einmal ein langes PDF in ChatGPT, Claude oder Gemini eingefügt hat, hat Prompt Processing erlebt — in Form von Wartezeit, bevor das erste Wort der Antwort erscheint. Je länger der eingefügte Text, desto spürbarer die Pause. Bei kurzen Fragen fällt diese Phase kaum auf.

In Produkten, bei denen Geschwindigkeit besonders zählt — etwa in Echtzeit-Sprachassistenten oder automatisierten Systemen, die Tausende Anfragen pro Minute verarbeiten — ist schnelles Prompt Processing ein entscheidender Wettbewerbsvorteil. Anbieter wie Groq haben spezialisierte Hardware entwickelt, die genau diese Phase drastisch beschleunigt.

In Fachartikeln und Produktankündigungen taucht der Begriff häufig neben Kennzahlen wie „Time to First Token“ auf — also der Zeit bis zum ersten erzeugten Wort. Diese Zahl ist direkt ein Maß dafür, wie schnell das Prompt Processing abgeschlossen ist. Wer KI-Dienste vergleicht, findet darin einen der aussagekräftigsten Indikatoren für die wahrgenommene Reaktionsgeschwindigkeit.

Produkten dorto

Aktuelle Narichten

Subscribe free. Unsubscribe the second it sucks.

High-signal news across AI, business, UX, and tech. Every morning.