Inferenz

Ein Computerprogramm, das aus Beispielen lernt, durchläuft zwei sehr verschiedene Phasen. In der ersten Phase, dem Training, bekommt es riesige Mengen an Beispieltexten oder Bildern vorgelegt. Dabei stellt es Millionen interner Stellschrauben so ein, dass es typische Muster nachbilden kann. Diese Phase kann Wochen dauern und passiert nur einmal. In der zweiten Phase, der Inferenz, ist das Lernen abgeschlossen. Man gibt eine Frage ein, das Programm rechnet damit und liefert eine Antwort. Das dauert Sekunden, geschieht aber bei jeder einzelnen Nutzung neu.

Warum Inferenz die eigentliche Rechnung schreibt

Über Training wird viel geredet, weil die Zahlen dort spektakulär sind. Ein großes Sprachmodell zu trainieren kann hunderte Millionen Dollar kosten. Doch das ist eine einmalige Investition. Die Inferenz dagegen läuft täglich und ohne Ende weiter.

Rechne es an einem Beispiel durch. Ein Chatbot mit hundert Millionen Nutzern beantwortet leicht eine Milliarde Anfragen pro Monat. Kostet jede Antwort nur einen Bruchteil eines Cents, summiert sich das trotzdem zu Millionenbeträgen. Deshalb hängt die Frage, ob ein KI-Produkt Geld verdient, meist an den Inferenzkosten und nicht am Training.

Das erklärt auch, warum Chiphersteller wie Nvidia so stark vom KI-Boom profitieren. Ihre Grafikprozessoren, kurz GPUs, sind auf genau diese Art von Rechnung spezialisiert. Ein wachsender Teil der weltweit verkauften KI-Chips arbeitet inzwischen nicht mehr im Training, sondern rund um die Uhr in der Inferenz.

Was beim Antworten im Modell passiert

Ein Sprachmodell schreibt keine fertigen Sätze auf einmal. Es sagt immer nur das nächste Wortstück voraus. Danach hängt es dieses Stück an die Eingabe an und rechnet erneut. So entsteht eine Antwort Stück für Stück, was man an dem tippenden Erscheinen des Textes sehen kann.

Jeder dieser Schritte bedeutet sehr viele Multiplikationen mit den gespeicherten Stellschrauben des Modells. Weil nichts mehr dazugelernt wird, bleiben diese Werte dabei unverändert. Genau deshalb ist Inferenz viel schneller als Training. Sie braucht aber trotzdem enorm viel Speicher, denn das ganze Modell muss griffbereit im Chip liegen.

Um das billiger zu machen, gibt es zwei verbreitete Tricks. Beim ersten, Quantisierung genannt, speichert man die Zahlen im Modell gröber, etwa mit acht statt sechzehn Nachkommastellen. Beim zweiten, Mixture of Experts, aktiviert das Modell pro Anfrage nur einen kleinen Teil seiner Bausteine. Beides senkt die Kosten deutlich, ohne dass die Qualität spürbar leidet.

Inferenz im Handy und in den Quartalszahlen

Jedes Mal, wenn du ChatGPT etwas fragst, eine Übersetzung startest oder dein Handy ein Foto automatisch aufhellt, läuft Inferenz. Meistens passiert das in einem Rechenzentrum, und deine Eingabe reist dafür durchs Internet. Zunehmend rechnen Modelle aber direkt auf dem Gerät. Das nennt man On-Device-Inferenz, und es hat den Vorteil, dass keine Daten das Handy verlassen.

In Wirtschaftsnachrichten taucht der Begriff vor allem in zwei Zusammenhängen auf. Erstens, wenn Unternehmen ihre Ausgaben für Rechenzentren erklären. Zweitens, wenn ein neues Modell damit wirbt, bei gleicher Qualität weniger Rechenzeit pro Antwort zu brauchen. Der zweite Fall ist wirtschaftlich oft wichtiger als ein paar Prozentpunkte mehr Genauigkeit.

Ein häufiger Irrtum lohnt sich zum Schluss: Viele nehmen an, ein Modell lerne aus jeder Unterhaltung dazu. Bei der Inferenz passiert genau das nicht. Das Modell bleibt unverändert und vergisst das Gespräch danach. Was es dazulernt, kommt erst in einer späteren, getrennten Trainingsrunde hinein.