Inferieren

Ein Computerprogramm, das aus Beispielen lernt, durchläuft zwei sehr unterschiedliche Phasen. Zuerst lernt es: Es bekommt riesige Mengen an Texten oder Bildern vorgesetzt und passt sich so lange an, bis es passende Antworten liefert. Diese Lernphase kann Wochen dauern und findet nur einmal statt. Danach beginnt die zweite Phase, und die heißt Inferieren. Inferieren heißt: Das fertige Programm bekommt eine konkrete Eingabe, rechnet einmal durch und gibt ein Ergebnis aus. Das Wort kommt vom lateinischen inferre, also ungefähr „schlussfolgern“ — das Programm zieht aus dem Gelernten einen Schluss auf den neuen Fall.

Warum jede einzelne Antwort Geld kostet

Beim Lernen zahlt ein Unternehmen einmal einen sehr großen Betrag. Beim Inferieren zahlt es dagegen immer wieder ein bisschen. Jede Anfrage eines Nutzers bedeutet Rechenzeit auf teuren Spezialchips, und die läuft irgendwo in einem Rechenzentrum. Bei einem Chatbot mit hunderten Millionen Nutzern summieren sich diese kleinen Beträge zu enormen Summen.

Deshalb ist Inferieren einer der wichtigsten Kostenfaktoren der KI-Branche. In Geschäftsberichten und Nachrichten taucht der Begriff regelmäßig auf, wenn es um Gewinnmargen geht. Ein Anbieter kann ein brillantes Modell haben und trotzdem Verlust machen, weil jede Antwort mehr kostet, als der Kunde zahlt. Ein großer Teil der aktuellen Forschung dreht sich daher nicht darum, Modelle klüger zu machen, sondern billiger im Betrieb.

Neben Geld spielt Zeit eine Rolle. Niemand wartet gern zehn Sekunden auf die Antwort einer Suchmaschine. Die Verzögerung zwischen Eingabe und erster Ausgabe nennt man Latenz, und sie entsteht fast vollständig beim Inferieren. Schnelle Inferenz ist deshalb auch ein Qualitätsmerkmal, nicht nur eine Sparmaßnahme.

Was beim Durchrechnen tatsächlich passiert

Ein Modell besteht aus vielen Milliarden gespeicherter Zahlen, den sogenannten Parametern. Sie sind das Ergebnis der Lernphase und ändern sich beim Inferieren nicht mehr. Die Eingabe wird in Zahlen umgewandelt und dann Schicht für Schicht durch dieses Netz aus Parametern gerechnet. Am Ende steht eine Wahrscheinlichkeit dafür, welches Wort oder welche Antwort als Nächstes kommt.

Bei Textmodellen läuft das Wort für Wort ab. Das Modell erzeugt einen Textbaustein, hängt ihn an die Eingabe an und rechnet erneut. Deshalb sieht man in Chatprogrammen, wie die Antwort langsam entsteht. Für einen Absatz von hundert Wörtern läuft das Modell also rund hundertmal durch.

Um das zu beschleunigen, gibt es mehrere Tricks. Beim Quantisieren speichert man die Parameter gröber, etwa mit acht statt sechzehn Nachkommastellen — das Modell wird minimal ungenauer, aber deutlich schneller. Bei einer Bauweise namens Mixture of Experts aktiviert das Modell pro Anfrage nur einen kleinen Teil seiner Bausteine statt alle. Ein häufiger Irrtum ist übrigens, das Modell würde beim Benutzen dazulernen. Das tut es nicht: Wer eine Antwort korrigiert, ändert nichts an den Parametern.

Vom Handy bis zum Rechenzentrum

Inferieren begegnet dir jeden Tag, meist ohne dass es so genannt wird. Die Gesichtserkennung beim Entsperren des Handys ist Inferenz. Ebenso die automatische Übersetzung im Browser, die Sprachsteuerung im Auto und der Spamfilter im Postfach. In all diesen Fällen wurde das Modell vorher irgendwo trainiert und läuft jetzt nur noch.

Ein wichtiger Unterschied ist der Ort. Manche Modelle inferieren direkt auf dem Gerät, andere schicken die Anfrage an ein Rechenzentrum. Auf dem Gerät bleiben die Daten privat und es funktioniert offline, aber nur kleine Modelle passen dorthin. Im Rechenzentrum stehen große Modelle bereit, dafür braucht es Internet und Vertrauen in den Anbieter.

In Wirtschaftsnachrichten taucht der Begriff vor allem bei Chipherstellern auf. Es gibt Prozessoren, die speziell fürs Training gebaut sind, und andere, die auf günstige Inferenz optimiert sind. Analysten gehen davon aus, dass der Markt für Inferenz-Hardware den für Trainings-Hardware langfristig übertrifft. Der Grund ist einfach: Trainiert wird selten, benutzt wird ständig.