Inferenz
Inferenz ist der Moment, in dem ein trainiertes KI-Modell tatsächlich arbeitet und eine Antwort erzeugt. Sie verursacht bei großen Modellen den Großteil der laufenden Kosten.
Ein KI-Modell durchläuft zwei sehr verschiedene Phasen. Beim Training lernt es aus Beispielen, was über Wochen laufen kann und einmal passiert. Bei der Inferenz benutzt man das fertige Modell: man stellt eine Frage, das Modell rechnet, eine Antwort kommt heraus. Das dauert Sekunden statt Wochen, passiert aber jedes Mal neu.
Warum das wichtig ist
Training ist eine einmalige Investition, Inferenz eine Dauerbelastung. Wer einen Chatbot mit Millionen Nutzern betreibt, zahlt für jede einzelne Antwort. Deshalb dreht sich ein großer Teil der Forschung nicht darum, Modelle klüger zu machen, sondern billiger im Betrieb.
Wie man sie günstiger macht
Der wirksamste Ansatz heißt Mixture of Experts: das Modell aktiviert pro Anfrage nur einen kleinen Teil seiner Bausteine statt alle. Ein Modell mit hunderten Milliarden Parametern rechnet dann so schnell wie ein viel kleineres, ohne an Fähigkeiten zu verlieren.
Daneben gibt es Verfahren, die Zahlen im Modell gröber speichern und dadurch Rechenzeit sparen. Beides zusammen hat die Inferenzkosten in den letzten Jahren deutlich gesenkt.