Autograd

Ein KI-Modell ist im Kern eine sehr lange Rechenformel mit Millionen von einstellbaren Zahlen. Diese Zahlen bestimmen, welche Antwort am Ende herauskommt. Damit das Modell besser wird, muss man wissen: Wenn ich diese eine Zahl ein kleines bisschen erhöhe, wird das Ergebnis dann besser oder schlechter? Genau diese Frage beantwortet Autograd, und zwar für alle Zahlen gleichzeitig. Der Name ist die Abkürzung für automatische Berechnung von Gradienten. Ein Gradient ist dabei nichts anderes als die Antwort auf die Frage von eben: eine Zahl, die angibt, in welche Richtung und wie stark eine Stellschraube wirkt.

Warum niemand mehr von Hand ableitet

Die Mathematik hinter dieser Frage heißt Ableitung und ist seit Jahrhunderten bekannt. Für eine kurze Formel kann man eine Ableitung mit Papier und Stift ausrechnen. Für ein Sprachmodell mit hunderten Milliarden Stellschrauben ist das völlig ausgeschlossen. Vor Autograd mussten Forscher die Ableitungen für jede neue Netzarchitektur selbst herleiten und programmieren. Das war die mit Abstand größte Fehlerquelle und hat jedes Experiment ausgebremst.

Autograd hat diesen Schritt abgeschafft. Man schreibt nur noch auf, wie das Modell rechnet. Die Ableitungen kommen automatisch dazu, exakt und ohne Zusatzaufwand. Dadurch kann jemand innerhalb einer Stunde eine neue Modellidee ausprobieren, für die früher Wochen an Vorarbeit nötig waren.

Diese Beschleunigung ist ein unterschätzter Grund für das Tempo der KI-Entwicklung. Nicht nur schnellere Chips haben den Fortschritt getrieben, sondern auch die Tatsache, dass Experimentieren billig geworden ist. Autograd ist dabei kein sichtbares Produkt, sondern eine Grundlage, auf der alles andere aufsetzt.

Der Rechenweg wird rückwärts abgelaufen

Während das Modell rechnet, merkt sich Autograd jeden einzelnen Schritt. Es entsteht eine Art Protokoll: erst wurde multipliziert, dann addiert, dann eine Funktion angewendet. Dieses Protokoll nennt man Rechengraph. Es ist die Landkarte, auf der später der Rückweg gesucht wird.

Am Ende steht eine einzige Zahl, der Fehler. Sie sagt, wie weit die Ausgabe des Modells von der gewünschten Antwort entfernt war. Von dieser Zahl aus läuft Autograd das Protokoll rückwärts ab. Für jeden Rechenschritt ist bekannt, wie er einen Fehler weitergibt. So wird der Fehler Schritt für Schritt auf alle Stellschrauben verteilt.

Ein Vergleich hilft: Stell dir eine Kette von Personen vor, die eine Nachricht weiterflüstern. Am Ende ist die Nachricht verfälscht. Man geht die Kette rückwärts durch und fragt jeden, wie viel er zum Fehler beigetragen hat. Genau so verteilt Autograd die Verantwortung. Dieser Rückwärtslauf heißt Backpropagation und ist der Grund, warum das Verfahren so effizient ist: Ein einziger Durchgang liefert die Gradienten für alle Stellschrauben auf einmal.

Autograd in PyTorch und in den Trainingskosten

Praktisch begegnet man Autograd vor allem in Programmbibliotheken für maschinelles Lernen. Die bekannteste ist PyTorch, entwickelt bei Meta, deren Kernbaustein tatsächlich autograd heißt. Auch TensorFlow von Google und JAX arbeiten nach demselben Prinzip. Wer heute ein neuronales Netz trainiert, benutzt Autograd, ob er es weiß oder nicht.

In Nachrichten taucht der Begriff selten direkt auf, seine Folgen aber dauernd. Wenn von riesigem Speicherbedarf beim Training die Rede ist, liegt das auch am Rechengraphen: Alle Zwischenergebnisse müssen aufbewahrt werden, bis der Rückweg sie braucht. Deshalb verbraucht Training deutlich mehr Grafikkartenspeicher als der reine Betrieb eines fertigen Modells.

Ein häufiger Irrtum ist, Autograd sei eine Art künstliche Intelligenz für sich. Das stimmt nicht. Es ist reine Buchhaltung über Ableitungen, präzise und stur. Und es wird nur beim Training gebraucht. Wenn du einen Chatbot benutzt, ist Autograd abgeschaltet, denn dann soll das Modell nichts mehr lernen, sondern nur noch antworten.