Inferenzzeit

Ein Programm, das Texte schreibt oder Bilder erkennt, lernt seine Fähigkeiten vorher aus riesigen Datenmengen. Diese Lernphase heißt Training und ist irgendwann abgeschlossen. Danach wird das fertige Programm benutzt: Man gibt etwas ein, es rechnet, und ein Ergebnis kommt heraus. Genau diese Benutzung nennt man Inferenz. Die Inferenzzeit ist die Dauer, die eine einzelne solche Rechnung braucht — von der Eingabe bis zur fertigen Ausgabe. Sie wird meist in Millisekunden oder Sekunden gemessen.

Warum Millisekunden über Kosten und Nutzbarkeit entscheiden

Die Inferenzzeit ist der Unterschied zwischen einem Werkzeug, das man gern benutzt, und einem, das nervt. Bei einer Suchmaschine erwarten Nutzer eine Antwort in unter einer Sekunde. Bei einem Chatbot toleriert man etwas mehr, solange der Text sofort zu fließen beginnt. Bei einem selbstfahrenden Auto darf die Erkennung eines Fußgängers nicht länger als wenige Millisekunden dauern. Hier ist eine langsame Antwort keine Unbequemlichkeit, sondern ein Sicherheitsproblem.

Dazu kommt die wirtschaftliche Seite. Jede Sekunde Rechenzeit belegt einen teuren Spezialchip in einem Rechenzentrum. Das Training eines großen Modells ist eine einmalige Investition, die Inferenz dagegen läuft dauerhaft. Ein Anbieter mit Millionen Nutzern zahlt für jede einzelne Antwort erneut. Halbiert er die Inferenzzeit, kann dieselbe Hardware doppelt so viele Anfragen bedienen.

Ein häufiger Irrtum: Ein besseres Modell sei automatisch ein langsameres. Das stimmt nicht zwingend. Ein größeres Modell braucht zwar mehr Rechenschritte, aber gute Architektur und passende Hardware können den Unterschied ausgleichen. Umgekehrt kann ein kleines, schlecht optimiertes Modell überraschend träge sein.

Was die Rechnung schneller macht

Bei Sprachmodellen zerfällt die Inferenzzeit in zwei Teile. Zuerst liest das Modell die Eingabe ein, das geht in einem Rutsch. Danach erzeugt es die Antwort Wort für Wort, genauer gesagt in kleinen Textbausteinen, sogenannten Tokens. Jedes neue Token braucht einen eigenen Rechendurchgang. Deshalb unterscheidet man die Zeit bis zum ersten sichtbaren Zeichen von der Geschwindigkeit, mit der der Text danach weiterläuft.

Um Zeit zu sparen, gibt es mehrere Hebel. Die Quantisierung speichert die inneren Zahlenwerte des Modells gröber, etwa mit acht statt sechzehn Stellen Genauigkeit. Das Modell rechnet dadurch schneller und verliert nur wenig Qualität. Ein anderer Ansatz ist die Destillation: Ein großes Modell bringt einem kleinen bei, sich ähnlich zu verhalten. Das kleine Modell antwortet danach deutlich flotter.

Ein dritter Hebel ist die Bündelung, im Fachjargon Batching. Statt jede Anfrage einzeln zu bearbeiten, rechnet der Server viele gleichzeitig. Das nutzt den Chip besser aus und senkt die Kosten pro Anfrage. Für den einzelnen Nutzer kann die Wartezeit dabei aber leicht steigen. Anbieter müssen also zwischen Durchsatz und Antwortzeit abwägen.

Inferenzzeit in Produkten und Schlagzeilen

Man begegnet dem Thema ständig, ohne dass der Begriff fällt. Wenn ein Chatbot die Antwort Zeichen für Zeichen aufbaut, ist das kein Effekt, sondern die sichtbare Inferenzzeit. Wenn die Übersetzungs-App offline langsamer arbeitet als online, liegt es an der schwächeren Rechenleistung des Handys. Auch die Autovervollständigung der Handytastatur muss ihre Vorschläge in wenigen Millisekunden liefern.

In Nachrichten taucht die Inferenzzeit meist verkleidet auf. Firmen werben mit Tokens pro Sekunde oder mit niedriger Latenz, also kurzer Verzögerung. Chiphersteller vergleichen ihre Beschleuniger genau an diesen Werten. Und wenn ein Anbieter die Preise für die Nutzung seiner Modelle senkt, steckt fast immer eine gesenkte Inferenzzeit dahinter.

Wichtig ist die Abgrenzung zur Trainingszeit. Trainingszeit fällt einmal an und wird in Wochen und Millionenbeträgen gemessen. Inferenzzeit fällt bei jeder Nutzung an und wird in Millisekunden gemessen. Über die Lebensdauer eines erfolgreichen Produkts summiert sich die Inferenz oft zum größeren Kostenblock.