Hyperparameter-Optimierung

Wenn ein Computerprogramm aus Beispielen lernen soll, muss ein Mensch vorher einige Einstellungen festlegen. Dazu gehört etwa, wie große Schritte das Programm bei jeder Korrektur machen darf, oder wie viele Beispiele es gleichzeitig ansieht. Solche vorab gesetzten Stellschrauben nennt man Hyperparameter. Das Programm findet sie nicht selbst heraus, es lernt nur innerhalb der Vorgaben, die es bekommt. Hyperparameter-Optimierung ist die planmäßige Suche nach der Kombination von Einstellungen, die am Ende das beste Ergebnis liefert. Man kann sie sich vorstellen wie das Einstellen eines Backofens: Das Rezept lernt der Bäcker, aber Temperatur und Backzeit muss jemand vorgeben.

Warum falsche Einstellungen ein gutes Modell ruinieren

Dieselbe Software mit denselben Daten kann sehr unterschiedlich gut werden. Der Unterschied liegt oft allein an den Hyperparametern. Ist die Schrittweite beim Lernen zu groß, schießt das Programm über das Ziel hinaus und wird nie stabil. Ist sie zu klein, dauert das Training ewig oder bleibt in einer mittelmäßigen Lösung hängen.

Ein zweites Problem heißt Überanpassung. Das Modell lernt dann die Trainingsbeispiele auswendig, statt das Muster dahinter zu verstehen. Bei neuen Daten versagt es. Bestimmte Hyperparameter steuern genau diese Balance, etwa die Größe des Modells oder wie stark man es beim Lernen bremst. Gute Werte zu finden ist deshalb kein Feinschliff, sondern oft der Unterschied zwischen brauchbar und unbrauchbar.

Der Preis dafür ist Rechenzeit. Jede getestete Kombination bedeutet ein komplettes Training. Bei großen Sprachmodellen kostet ein einziger Durchlauf Millionen. Deshalb testet man dort nicht hunderte Varianten, sondern überträgt Erfahrungswerte von kleinen Testläufen auf das große Modell.

Von Rasterabsuche bis Bayes’scher Suche

Die einfachste Methode ist die Rastersuche. Man legt für jede Einstellung ein paar Werte fest und probiert alle Kombinationen durch. Das ist gründlich, aber die Zahl der Versuche wächst explosionsartig. Drei Hyperparameter mit je fünf Werten ergeben bereits 125 Trainingsläufe.

Erstaunlicherweise funktioniert reines Zufallsziehen meist besser. Man würfelt eine feste Anzahl zufälliger Kombinationen aus und testet sie. Der Grund: Nur wenige Hyperparameter sind wirklich entscheidend, und die Zufallssuche probiert für diese wenigen viel mehr verschiedene Werte aus als ein starres Raster.

Moderne Verfahren gehen noch weiter und lernen aus den bisherigen Versuchen. Die Bayes’sche Optimierung baut sich ein grobes Bild davon, welche Regionen des Einstellungsraums vielversprechend aussehen. Danach testet sie gezielt dort weiter. Eine andere Abkürzung heißt Early Stopping: Man bricht Durchläufe, die nach kurzer Zeit schlecht aussehen, sofort ab und steckt die freie Rechenzeit in aussichtsreichere Kandidaten.

Wo überall an Stellschrauben gedreht wird

In Nachrichten über KI taucht der Begriff selten direkt auf. Sichtbar wird er indirekt, etwa wenn Unternehmen enorme Rechenkosten für die Entwicklung eines Modells nennen. Ein spürbarer Teil davon entfällt auf Vorversuche mit verschiedenen Einstellungen. Auch Berichte über sogenannte Scaling Laws gehören hierher: Sie beschreiben, wie Modellgröße, Datenmenge und Trainingsdauer sinnvoll zusammenpassen.

Wer selbst mit Lernverfahren arbeitet, nutzt fertige Werkzeuge dafür. Bibliotheken wie Optuna oder Ray Tune übernehmen die Suche automatisch. Große Cloud-Anbieter verkaufen den Dienst als eigenes Produkt. Der Sammelbegriff für solche automatisierten Baukästen lautet AutoML.

Eine häufige Verwechslung sollte man vermeiden: Hyperparameter sind nicht dasselbe wie Parameter. Parameter sind die Milliarden Zahlen im Inneren eines Modells, die das Training selbst anpasst. Hyperparameter stehen davor und bestimmen die Spielregeln des Trainings. Und einen Zusatzregler von außen kennt fast jeder aus dem Alltag: die Temperature-Einstellung bei Chatbots, die steuert, wie kreativ oder wie brav die Antworten ausfallen.