Skalierungsgesetze

KI-Systeme lernen aus Beispielen: Man zeigt einem Computerprogramm sehr viel Text, und es lernt daraus, welche Wörter typischerweise aufeinander folgen. Dabei stellt sich eine praktische Frage: Was passiert, wenn man das Programm größer macht, ihm mehr Text zeigt oder es länger rechnen lässt? Skalierungsgesetze sind die Antwort darauf. Sie sind Formeln, die aus Messreihen gewonnen wurden und beschreiben, wie stark die Fehlerquote sinkt, wenn man diese drei Größen erhöht. Der überraschende Befund: Die Verbesserung folgt einer sehr gleichmäßigen Kurve, über viele Größenordnungen hinweg. Man kann also im Kleinen messen und im Großen vorhersagen.

Warum daraus Milliardenbudgets werden

Ohne Skalierungsgesetze wäre der Bau eines großen KI-Modells ein Glücksspiel. Ein Trainingslauf kostet je nach Größe zweistellige Millionenbeträge und dauert Wochen. Niemand gibt dieses Geld aus, ohne eine Schätzung des Ergebnisses zu haben. Genau diese Schätzung liefern die Gesetze.

Der Ablauf in der Praxis sieht so aus: Ein Labor trainiert mehrere kleine Modelle mit unterschiedlichem Aufwand. Aus den Messpunkten zeichnet es eine Kurve und verlängert sie. Die Kurve sagt dann etwa, wie gut ein Modell wird, das hundertmal so viel Rechenzeit verschlingt. Erst wenn diese Prognose überzeugt, wird der große Lauf gestartet.

Skalierungsgesetze erklären damit auch eine Entwicklung der letzten Jahre. Man musste keine grundlegend neue Idee finden, um bessere Sprachmodelle zu bauen. Es reichte lange, dasselbe Rezept mit mehr Rechenleistung zu wiederholen. Das ist der eigentliche Grund für den enormen Bedarf an Rechenzentren und Spezialchips.

Die drei Stellschrauben und ihr Verhältnis

Drei Größen zählen. Erstens die Zahl der Parameter, also der internen Stellwerte, die das Modell beim Lernen anpasst. Zweitens die Menge der Trainingsdaten. Drittens die Rechenleistung, meist gemessen in Rechenoperationen insgesamt. Wächst eine dieser Größen, sinkt der Vorhersagefehler des Modells.

Wichtig ist das Verhältnis. Eine viel beachtete Untersuchung von 2022, bekannt nach dem Modell Chinchilla, zeigte: Viele Modelle waren zu groß für ihre Datenmenge. Bei festem Rechenbudget lohnt es sich, Parameter und Daten etwa im Gleichschritt zu erhöhen. Als Faustregel nannten die Forscher rund zwanzig Trainingswörter pro Parameter. Modelle davor hatten teils zehnmal weniger Daten pro Parameter gesehen und verschenkten dadurch Leistung.

Ein häufiger Irrtum ist, die Kurven würden unbegrenzt weiterlaufen. Das tun sie nicht beliebig. Der Zusammenhang ist ein Potenzgesetz: Jede weitere Verbesserung kostet ein Vielfaches des vorherigen Aufwands. Zehnmal mehr Rechenleistung bringt keine Halbierung des Fehlers, sondern nur einen kleinen Schritt. Außerdem sagen die Gesetze nur etwas über die messbare Fehlerquote, nicht darüber, ob ein Modell eine bestimmte Aufgabe wirklich beherrscht.

Skalierungsgesetze in Nachrichten und Produkten

Wenn in Wirtschaftsnachrichten steht, ein Konzern investiere zweistellige Milliardenbeträge in Rechenzentren, steckt diese Logik dahinter. Auch Aussagen wie „die nächste Modellgeneration wird zehnmal so viel Rechenleistung nutzen“ beziehen sich darauf. Der Kurs des Chipherstellers Nvidia hängt indirekt an dem Glauben, dass die Kurven weiter tragen.

Gleichzeitig wird seit einiger Zeit diskutiert, ob eine Grenze näher rückt. Hochwertiger Text im Internet ist endlich, und Daten sind eine der drei Stellschrauben. Deshalb arbeiten Labore an Alternativen: künstlich erzeugte Trainingsdaten oder mehr Rechenzeit nicht beim Training, sondern beim Beantworten einer Frage. Letzteres nennt man Skalierung zur Antwortzeit, und Modelle, die vor der Antwort länger „nachdenken“, nutzen genau das.

Für Nutzer bleibt das meist unsichtbar. Merkbar ist es indirekt: Kleinere Modelle, die auf einem Handy laufen, sind heute so gut wie große Modelle von vor zwei Jahren. Auch das ist eine Folge der Erkenntnis, dass eine kluge Verteilung von Daten und Größe mehr bringt als reine Größe.