Gradient
Der Gradient ist die Rechengröße, die einem lernenden Computerprogramm sagt, in welche Richtung es seine internen Einstellungen verändern muss, um weniger Fehler zu machen. Er ist das zentrale Werkzeug, mit dem praktisch jedes moderne KI-Modell trainiert wird.
Ein lernendes Computerprogramm hat viele Stellschrauben, an denen man drehen kann. Zu Beginn stehen diese Schrauben zufällig, und das Programm liefert entsprechend falsche Ergebnisse. Man misst deshalb den Fehler: eine einzige Zahl, die sagt, wie weit die Ausgabe daneben liegt. Der Gradient ist die Antwort auf die Frage, wie sich dieser Fehler ändert, wenn man an einer Schraube ein winziges Stück dreht. Er nennt für jede einzelne Schraube Richtung und Stärke: nach oben oder unten, viel oder wenig. Aus der Mathematik stammt er aus der Differentialrechnung, aber man kann ihn ohne diese Vorkenntnisse verstehen.
Der Motor hinter jedem Training
Ohne Gradienten müsste man die Stellschrauben durch Raten einstellen. Bei einem Modell mit ein paar Dutzend Schrauben wäre das mühsam, aber machbar. Moderne Sprachmodelle haben Hunderte Milliarden davon. Zufälliges Ausprobieren würde länger dauern als das Universum alt ist.
Der Gradient löst dieses Problem, weil er alle Schrauben gleichzeitig behandelt. Eine einzige Rechnung liefert für jede von ihnen die passende Korrektur. Deshalb wächst der Aufwand nicht explosionsartig mit der Modellgröße, sondern bleibt beherrschbar. Genau das hat sehr große Modelle überhaupt erst möglich gemacht.
Wenn in Nachrichten steht, ein Training habe Millionen gekostet, dann steckt dahinter vor allem eines: das milliardenfache Berechnen von Gradienten auf spezialisierten Grafikchips. Der Gradient ist damit nicht nur ein mathematisches Detail, sondern der größte Kostenposten der KI-Branche.
Bergabgehen im Nebel
Eine gängige Analogie ist eine hügelige Landschaft im dichten Nebel. Die Höhe steht für den Fehler, jeder Punkt in der Landschaft für eine bestimmte Einstellung aller Schrauben. Gesucht ist das tiefste Tal. Man sieht nichts, kann aber spüren, in welche Richtung der Boden am stärksten abfällt. Diese Richtung ist der Gradient.
Das Training macht daraus ein einfaches Rezept. Man tastet die Steigung ab, geht ein kleines Stück bergab und wiederholt das. Dieses Verfahren heißt Gradientenabstieg. Wie groß die Schritte sind, legt die sogenannte Lernrate fest, ein vom Menschen gewählter Wert. Zu große Schritte springen über das Tal hinweg, zu kleine brauchen ewig.
Berechnet werden die Gradienten mit einem Verfahren namens Backpropagation. Dabei wird der Fehler vom Ergebnis aus rückwärts durch das Netz zurückverfolgt. So bekommt jede Schicht ihren Anteil an der Schuld zugewiesen. Ein häufiger Irrtum ist, der Gradient sage, wo das Ziel liegt. Er sagt nur, wohin es von hier aus abwärts geht, und mehr braucht das Verfahren auch nicht.
Wo Gradienten in Meldungen auftauchen
Direkt sichtbar sind Gradienten selten, ihre Nebenwirkungen aber schon. Ein bekanntes Problem sind verschwindende Gradienten: In tiefen Netzen werden die Werte auf dem Rückweg immer kleiner, bis die vorderen Schichten fast nichts mehr lernen. Umgekehrt gibt es explodierende Gradienten, bei denen die Werte so groß werden, dass das Training entgleist. Beides sind Standardthemen, wenn Fachleute erklären, warum ein Training scheitert.
Auch im Datenschutz spielen Gradienten eine Rolle. Beim föderierten Lernen bleiben Daten auf dem Handy, und nur berechnete Gradienten werden an einen Server geschickt. Forschung hat allerdings gezeigt, dass sich aus diesen Zahlen manchmal Originaldaten rekonstruieren lassen. Solche Meldungen tauchen regelmäßig in Sicherheitsberichten auf.
Praktisch begegnet der Begriff jedem, der eine KI selbst trainiert. Programmbibliotheken wie PyTorch berechnen Gradienten automatisch, sichtbar an Befehlen wie backward. Und wer Modelle nur benutzt, profitiert indirekt: Jede Antwort eines Chatbots beruht auf Einstellungen, die durch Millionen kleiner Schritte bergab entstanden sind.