Inferenz

Ein KI-Modell durchläuft zwei sehr verschiedene Phasen. Beim Training lernt es aus Beispielen, was über Wochen laufen kann und einmal passiert. Bei der Inferenz benutzt man das fertige Modell: man stellt eine Frage, das Modell rechnet, eine Antwort kommt heraus. Das dauert Sekunden statt Wochen, passiert aber jedes Mal neu.

Warum das wichtig ist

Training ist eine einmalige Investition, Inferenz eine Dauerbelastung. Aktuellen Branchenanalysen zufolge macht das Training bei modernen KI-Systemen oft nur etwa 15-20% der Gesamtkosten aus – der weit überwiegende Teil der Ausgaben entfällt auf die laufende Inferenz. Wer einen Chatbot mit Millionen Nutzern betreibt, zahlt für jede einzelne Antwort, und diese Summe übersteigt die einmaligen Trainingskosten über die Lebensdauer eines Modells um ein Vielfaches. Deshalb dreht sich ein großer Teil der Forschung und Industrie nicht mehr primär darum, Modelle klüger zu machen, sondern billiger und effizienter im laufenden Betrieb – die Inferenzphase bestimmt zunehmend die wirtschaftliche Tragfähigkeit von KI-Systemen.

Wie man sie günstiger macht

Der wirksamste Ansatz heißt Mixture of Experts: das Modell aktiviert pro Anfrage nur einen kleinen Teil seiner Bausteine statt alle. Ein Modell mit hunderten Milliarden Parametern rechnet dann so schnell wie ein viel kleineres, ohne an Fähigkeiten zu verlieren.

Daneben gibt es Verfahren, die Zahlen im Modell gröber speichern und dadurch Rechenzeit sparen. Auch spezialisierte Hardware und Optimierungen der Echtzeitverarbeitung – etwa durch effizientere Batch-Verarbeitung von Anfragen – spielen eine wachsende Rolle. Diese Maßnahmen zusammen haben die Inferenzkosten in den letzten Jahren deutlich gesenkt, doch da immer mehr Anwendungen auf laufende KI-Antworten angewiesen sind, bleibt die Inferenz der entscheidende Kostentreiber und Fokus der Optimierungsbemühungen in der gesamten Branche.