Scaling Law
Ein Scaling Law ist eine gemessene Faustregel, die beschreibt, wie viel besser ein KI-Modell wird, wenn man ihm mehr Daten, mehr Rechenleistung und mehr Größe gibt. Die Verbesserung folgt dabei einer erstaunlich regelmäßigen Kurve — und diese Kurve wird immer flacher.
Ein Computerprogramm, das aus Beispielen lernt, wird besser, wenn man ihm mehr Beispiele zeigt. Das klingt banal. Überraschend ist, wie berechenbar dieser Zusammenhang ist. Forscher haben viele solche Programme in unterschiedlichen Größen gebaut und ihre Fehlerquote gemessen. Dabei kam heraus: Verzehnfacht man den Aufwand, sinkt der Fehler um einen ziemlich festen Betrag — fast wie bei einem Naturgesetz. Genau diese messbare Regelmäßigkeit nennt man ein Scaling Law, auf Deutsch ein Skalierungsgesetz.
Warum Firmen darauf Milliarden setzen
Ein Rechenzentrum für KI kostet Milliarden. Niemand gibt so viel Geld aus, ohne zu wissen, was dabei herauskommt. Scaling Laws liefern genau diese Vorhersage. Man trainiert ein paar kleine, billige Modelle, misst ihre Fehlerquote und zeichnet die Punkte in ein Diagramm. Die Linie durch diese Punkte lässt sich verlängern. So kann man abschätzen, wie gut ein hundertmal teureres Modell werden wird, bevor man den ersten Euro dafür ausgibt.
Diese Vorhersagbarkeit hat den Boom der letzten Jahre erst ausgelöst. Vor 2020 war unklar, ob größere Modelle wirklich zuverlässig besser werden. Seitdem gilt Größe als der verlässlichste Hebel überhaupt. Deshalb kaufen Konzerne wie Microsoft, Google oder Meta hunderttausende Spezialchips. Sie kaufen keine Hoffnung, sondern eine Position auf einer bekannten Kurve.
Der Haken steckt in der Form dieser Kurve. Sie steigt nicht gerade an, sondern wird immer flacher. Die ersten Verbesserungen sind billig, die späteren extrem teuer. Um denselben Fortschritt noch einmal zu erreichen, muss man den Aufwand oft verzehnfachen. Genau darüber wird in der Branche gerade heftig gestritten: Lohnt sich die nächste Verzehnfachung noch?
Die drei Stellschrauben: Größe, Daten, Rechenzeit
Drei Dinge lassen sich vergrößern. Erstens die Zahl der Parameter — das sind die einstellbaren Zahlenwerte im Modell, vergleichbar mit den Reglern an einem riesigen Mischpult. Zweitens die Menge an Trainingstexten, gemessen in Wörtern oder Wortteilen. Drittens die reine Rechenzeit, also wie lange die Chips arbeiten. Diese drei hängen zusammen, denn Rechenzeit ist ungefähr das Produkt aus Modellgröße und Datenmenge.
Lange baute man vor allem immer größere Modelle und fütterte sie mit vergleichsweise wenig Text. Eine Untersuchung von DeepMind aus dem Jahr 2022 zeigte, dass das ein Fehler war. Bei festem Budget lohnt es sich, Modellgröße und Datenmenge gemeinsam zu erhöhen. Als grobe Faustregel nannten die Forscher rund zwanzig Wörter Trainingstext pro Parameter. Ihr Modell Chinchilla war deutlich kleiner als die Konkurrenz und trotzdem besser.
Wichtig ist, was ein Scaling Law nicht sagt. Es sagt eine Fehlerquote voraus, also wie treffsicher das Modell das nächste Wort errät. Es sagt nicht voraus, ob das Modell plötzlich Gleichungen lösen oder Witze verstehen kann. Solche Fähigkeiten tauchen manchmal recht abrupt auf, wenn eine bestimmte Größe überschritten wird. Die glatte Kurve im Diagramm und der sprunghafte Eindruck beim Benutzen sind zwei verschiedene Dinge.
Warum die Kurve gerade wackelt
Wer Nachrichten über KI liest, stößt regelmäßig auf die Frage, ob die Scaling Laws noch gelten. Der Grund ist einfach: Das brauchbare Textmaterial im Internet ist endlich. Man kann Rechenzentren bauen, aber kein zweites Internet. Firmen weichen deshalb auf Videos, Programmcode oder künstlich erzeugte Texte aus. Ob das gleich gut funktioniert, ist offen.
Parallel dazu ist eine zweite Kurve in den Blick geraten. Statt das Training zu vergrößern, lässt man das fertige Modell bei jeder Anfrage länger nachdenken. Modelle wie OpenAIs o-Reihe erzeugen vor der Antwort erst einen langen internen Gedankengang. Auch hier gibt es eine messbare Regelmäßigkeit: mehr Denkzeit, weniger Fehler. Man spricht von Scaling Laws für die Nutzung statt für das Training.
Für die Börse ist das keine akademische Frage. Der Aktienkurs von Chipherstellern wie Nvidia hängt daran, ob sich weiteres Skalieren lohnt. Taucht in einer Meldung der Satz auf, die Skalierungsgesetze stießen an ihre Grenzen, geht es um genau diese flacher werdende Kurve. Und um die Frage, wo das nächste Geld sinnvoll investiert ist.