Inference Engine
Eine Inference Engine ist eine spezialisierte Software, die ein fertig trainiertes KI-Modell möglichst schnell und sparsam rechnen lässt. Sie sitzt zwischen dem Modell und der Grafikkarte und entscheidet, in welcher Reihenfolge und wie effizient die Rechenschritte ablaufen.
Ein KI-Modell ist im Kern eine riesige Sammlung von Zahlen und Rechenregeln. Damit daraus eine Antwort auf eine Frage wird, muss jemand diese Rechnungen tatsächlich ausführen. Genau das übernimmt eine Inference Engine: ein Programm, das ein fertig gelerntes Modell laufen lässt und Anfragen von Nutzern beantwortet. Sie lehrt dem Modell nichts Neues, sie benutzt es nur. Man kann sie sich als Motorsteuergerät vorstellen: Der Motor ist gebaut, das Steuergerät sorgt dafür, dass er rund und sparsam läuft. Bekannte Beispiele solcher Programme heißen vLLM, TensorRT-LLM oder llama.cpp.
Warum der Betrieb teurer ist als das Lernen
Ein großes Modell zu trainieren, also aus Beispieldaten lernen zu lassen, kostet einmal sehr viel Geld. Der Betrieb kostet dagegen jeden Tag Geld, und zwar für jede einzelne Anfrage. Ein Chatbot mit Millionen Nutzern beantwortet täglich Milliarden von Fragen. Jede davon belegt für Sekundenbruchteile eine teure Grafikkarte. Über ein Jahr gerechnet übersteigen diese Kosten das Training oft deutlich.
Deshalb ist die Inference Engine ein wirtschaftlicher Hebel. Eine gute Engine holt aus derselben Hardware zwei- bis viermal so viele Antworten heraus wie eine schlechte. Das Modell bleibt dabei unverändert, nur die Software drumherum ist besser. Für Anbieter bedeutet das direkt: niedrigere Preise pro Anfrage oder höhere Gewinnspanne.
Ein zweiter Punkt ist die Wartezeit. Nutzer brechen ab, wenn eine Antwort erst nach zehn Sekunden erscheint. Engines optimieren deshalb nicht nur den Gesamtdurchsatz, sondern auch, wie schnell das erste Wort auf dem Bildschirm steht.
Die Tricks im Inneren: Batching, Cache und gröbere Zahlen
Der wichtigste Trick heißt Batching. Die Engine sammelt mehrere Anfragen verschiedener Nutzer und schickt sie gemeinsam durch die Grafikkarte. Eine Grafikkarte rechnet viele Aufgaben parallel fast so schnell wie eine einzelne. Moderne Engines können sogar neue Anfragen einschieben, während andere noch laufen. Man nennt das Continuous Batching.
Der zweite Trick ist ein Zwischenspeicher, der KV-Cache. Ein Sprachmodell schreibt Wort für Wort und muss dabei den bisherigen Text immer wieder berücksichtigen. Ohne Speicher würde es diese Zwischenergebnisse jedes Mal neu ausrechnen. Die Engine hebt sie stattdessen auf. Weil dieser Speicher schnell riesig wird, verwalten gute Engines ihn in kleinen Blöcken, ähnlich wie ein Betriebssystem den Arbeitsspeicher.
Drittens speichert die Engine die Zahlen des Modells oft gröber, etwa mit 8 statt 16 Nachkommastellen an Genauigkeit. Dieses Verfahren heißt Quantisierung. Das Modell wird dadurch kleiner und schneller, verliert aber ein wenig Präzision. Ein häufiger Irrtum ist, die Engine mache das Modell klüger. Sie ändert die Fähigkeiten nicht, sie ändert nur Tempo, Kosten und manchmal minimal die Antwortqualität.
Von der Cloud bis aufs Handy
Jedes Mal, wenn du ChatGPT, Gemini oder eine Übersetzungs-App benutzt, läuft im Hintergrund eine Inference Engine. Sie ist unsichtbar, aber sie bestimmt, wie schnell die Antwort erscheint. Auch die Bildersuche im Smartphone oder die Spracherkennung im Auto arbeiten so.
Auf kleinen Geräten gibt es eigene Engines. Programme wie llama.cpp oder Ollama lassen ein Sprachmodell auf einem normalen Laptop laufen, ganz ohne Internet. Der Vorteil: Die Daten verlassen das Gerät nicht. Der Nachteil: Es passen nur kleinere Modelle in den Speicher.
In Wirtschaftsnachrichten taucht der Begriff auf, wenn es um den Markt rund um KI geht. Firmen wie Nvidia verkaufen nicht nur Chips, sondern auch die passende Software dazu. Start-ups werben damit, Anfragen billiger zu bedienen als die Konkurrenz. Wer solche Meldungen liest, sollte auf zwei Kennzahlen achten: Tokens pro Sekunde, also die Ausgabegeschwindigkeit, und die Kosten pro Million Tokens.
