Prefill

Wenn du einem Chatbot eine Frage stellst, passiert die Arbeit in zwei sehr verschiedenen Phasen. Zuerst liest das Programm deinen kompletten Text ein und verarbeitet ihn. Dieser Leseschritt heißt Prefill, auf Deutsch etwa „Vorfüllen“. Erst danach beginnt die zweite Phase, in der die Antwort entsteht: ein Wort nach dem anderen, jedes einzeln berechnet. Der Unterschied ist wichtig, weil Prefill den ganzen Text gleichzeitig bearbeiten kann, die Antwortphase aber nicht. Man kann es sich vorstellen wie einen Schüler, der eine lange Aufgabenstellung erst einmal komplett durchliest, bevor er den ersten Satz seiner Lösung schreibt.

Warum die erste Sekunde über den Eindruck entscheidet

Die Zeit, die das Prefill braucht, merkst du direkt: Es ist die Pause zwischen dem Abschicken deiner Frage und dem ersten Buchstaben der Antwort. In der Fachsprache heißt diese Wartezeit „Time to First Token“, also die Zeit bis zum ersten Textbaustein. Bei einer kurzen Frage liegt sie im Bereich von Sekundenbruchteilen. Bei einem hochgeladenen PDF mit 200 Seiten kann sie mehrere Sekunden dauern.

Für Firmen, die solche Modelle betreiben, ist Prefill auch ein Kostenfaktor. Die Rechenarbeit wächst mit der Länge der Eingabe. Deshalb rechnen Anbieter wie OpenAI oder Anthropic Eingabetext und ausgegebenen Text getrennt ab. Eingabetext ist dabei meist deutlich günstiger, weil er sich effizienter verarbeiten lässt.

Der Unterschied wird immer wichtiger, weil Anfragen immer länger werden. Früher schrieb man einen Satz, heute lädt man ganze Verträge, Programmcode oder Chatverläufe hoch. Damit verschiebt sich ein großer Teil der Arbeit vom Antworten zum Lesen. Genau deshalb reden Entwickler heute so viel über diese Phase.

Alles gleichzeitig lesen statt Wort für Wort

Ein Sprachmodell zerlegt Text zuerst in kleine Bausteine, sogenannte Tokens. Ein Token ist ungefähr ein kurzes Wort oder eine Silbe. Im Prefill werden alle diese Tokens auf einmal durch das Modell geschickt. Das ist möglich, weil sie ja schon alle feststehen – das Modell muss nichts erraten.

Genau das macht die Phase so effizient. Moderne Grafikkarten rechnen am liebsten viele Dinge parallel. Ein Prefill lastet sie deshalb fast vollständig aus. In der Antwortphase geht das nicht: Jedes neue Wort hängt vom vorherigen ab, also muss die Karte einen Schritt nach dem anderen machen. Dort ist meist nicht die Rechenleistung der Engpass, sondern die Geschwindigkeit des Speichers.

Das Ergebnis des Prefills wird zwischengespeichert. Diesen Zwischenspeicher nennt man KV-Cache – eine Art Notizzettel mit dem, was das Modell aus deinem Text herausgezogen hat. Bei jedem weiteren Wort greift das Modell darauf zurück, statt alles neu zu lesen. Ohne diesen Trick müsste es für jedes einzelne Wort den gesamten bisherigen Text noch einmal durcharbeiten.

Prefill in Preislisten und Produktversprechen

Direkt sichtbar ist der Begriff vor allem in den Preistabellen von KI-Anbietern. Dort stehen getrennte Preise für Input-Tokens und Output-Tokens. Die Input-Seite ist der Prefill. Bei manchen Anbietern gibt es zusätzlich einen Rabatt für „Prompt Caching“: Wenn du denselben langen Text mehrfach schickst, wird der gespeicherte Notizzettel wiederverwendet und kostet weniger.

Auch in Werbeversprechen taucht die Phase indirekt auf. Wenn ein Unternehmen mit einem „Kontextfenster von einer Million Tokens“ wirbt, verspricht es damit ein sehr großes Prefill. Ob das im Alltag angenehm ist, hängt davon ab, wie schnell die Verarbeitung läuft. Ein riesiges Kontextfenster mit zwanzig Sekunden Wartezeit nutzt in einem Chat wenig.

Ein häufiger Irrtum ist, Prefill und Training zu verwechseln. Beim Training lernt ein Modell dauerhaft aus Millionen Texten und verändert sich dabei. Beim Prefill lernt es nichts – es liest deine Eingabe nur für diese eine Anfrage und vergisst sie danach wieder. Dein hochgeladenes Dokument macht das Modell also nicht klüger, es steht ihm nur kurzzeitig zur Verfügung.