Gradient Descent
Gradient Descent ist das Standardverfahren, mit dem KI-Modelle beim Training lernen: Es passt die internen Einstellungen eines Modells schrittweise so an, dass seine Fehler kleiner werden. Ohne diesen Algorithmus wäre modernes maschinelles Lernen nicht möglich.
Wenn ein KI-Modell trainiert wird, macht es am Anfang viele Fehler. Gradient Descent ist das Verfahren, das diese Fehler systematisch verkleinert. Das Modell enthält Tausende oder Milliarden von Zahlen — man nennt sie Parameter —, die bestimmen, wie es auf eine Eingabe reagiert. Gradient Descent verändert diese Zahlen immer wieder ein kleines Stück, bis das Modell besser wird. Das passiert nicht einmal, sondern viele Millionen Mal hintereinander.
Warum Gradient Descent das Herzstück des Trainings ist
Ein Modell kann man nicht einfach auf die richtige Antwort programmieren. Man zeigt ihm stattdessen Beispiele und lässt es selbst herausfinden, welche Parameter dafür sorgen, dass die Ausgaben stimmen. Dafür braucht man eine Methode, die den Fehler messbar macht und ihn gezielt verringert. Gradient Descent ist genau diese Methode.
Ohne ein solches Verfahren wäre es hoffnungslos, die richtigen Parameter zu finden. Bei einem modernen Sprachmodell gibt es oft mehr als 70 Milliarden Parameter. Sie alle von Hand einzustellen ist unmöglich. Gradient Descent macht das automatisch — und das ist der Grund, warum KI überhaupt trainierbar ist.
Der Abstieg auf der Fehlergebirgslandschaft
Man kann sich den Trainingsprozess als Berglandschaft vorstellen. Jede mögliche Kombination von Parametern entspricht einem Punkt in dieser Landschaft. Die Höhe des Punktes steht für den aktuellen Fehler des Modells — je höher, desto schlechter. Das Ziel ist, ins Tal zu kommen, also den Fehler zu minimieren.
Der Algorithmus berechnet in jedem Schritt, in welche Richtung der Hang am steilsten abfällt. Diese Richtung heißt Gradient — er zeigt an, wie stark und wohin sich der Fehler verändert, wenn man einen Parameter verschiebt. Das Modell geht dann einen kleinen Schritt genau entgegen dieser Richtung: bergab. Wie groß dieser Schritt ist, bestimmt die sogenannte Lernrate. Eine zu große Lernrate lässt das Modell über das Tal hinausschießen; eine zu kleine macht den Prozess extrem langsam.
In der Praxis schaut das Verfahren nicht nach jedem einzelnen Trainingsbeispiel auf den Fehler, sondern nach kleinen Gruppen — sogenannten Mini-Batches. Das spart Rechenzeit und macht den Lernprozess stabiler. Diese Variante heißt Stochastic Gradient Descent, kurz SGD, und ist heute die häufigste Form des Verfahrens. Moderne Optimierer wie Adam verfeinern SGD noch weiter, indem sie die Lernrate automatisch anpassen.
Gradient Descent in Produkten und Schlagzeilen
Jedes Mal, wenn ein Unternehmen ankündigt, ein KI-Modell trainiert zu haben, lief dabei Gradient Descent. GPT-4, Gemini, Stable Diffusion — all diese Modelle wurden mit Varianten dieses Verfahrens trainiert. Es ist so grundlegend, dass es in Fachartikeln oft gar nicht mehr erwähnt wird, weil es als selbstverständlich gilt.
In Meldungen über Trainingskosten steckt Gradient Descent ebenfalls dahinter. Jeder einzelne Schritt des Algorithmus kostet Rechenzeit auf spezialisierten Chips, sogenannten GPUs oder TPUs. Weil ein Training Milliarden solcher Schritte umfasst, können die Kosten für das Training großer Modelle in den Millionen-Dollar-Bereich steigen.
Ein häufiger Irrtum: Gradient Descent garantiert nicht, dass das Modell die bestmöglichen Parameter findet. Die Berglandschaft hat oft viele lokale Täler — Stellen, die tiefer als ihre Umgebung sind, aber nicht der tiefste Punkt insgesamt. Das Modell landet dann in einem solchen lokalen Minimum. In der Praxis ist das meist kein großes Problem, weil schon ein gutes lokales Minimum zu einem leistungsfähigen Modell führt.