Backpropagation
Backpropagation ist das Rechenverfahren, mit dem lernende Computerprogramme herausfinden, welche ihrer internen Stellschrauben für einen Fehler verantwortlich sind. Es arbeitet sich vom Ergebnis rückwärts durch das Programm und ist die Grundlage praktisch jedes modernen KI-Trainings.
Moderne KI-Programme bestehen aus Millionen oder Milliarden von Zahlen, die man Stellschrauben nennen kann. Diese Zahlen bestimmen, welche Antwort das Programm auf eine Eingabe gibt. Am Anfang sind sie zufällig gewählt, und die Antworten sind entsprechend falsch. Backpropagation ist das Verfahren, das für jede einzelne dieser Zahlen ausrechnet, wie stark sie am Fehler schuld ist. Danach kann man alle Zahlen ein winziges Stück in die richtige Richtung verschieben. Wiederholt man das millionenfach, entsteht aus zufälligen Zahlen ein Programm, das Texte schreibt oder Bilder erkennt.
Warum ohne Fehlerrückführung kein Deep Learning existiert
Das Grundproblem beim Lernen lautet: Man sieht nur, dass das Ergebnis falsch war. Man sieht nicht, welche der Milliarden Zahlen daran schuld ist. Ohne ein Verfahren zur Schuldverteilung müsste man jede Zahl einzeln ausprobieren. Bei einem großen Sprachmodell wären das Milliarden Testläufe für einen einzigen Lernschritt. Das würde selbst auf den schnellsten Rechnern länger dauern als das Universum alt ist.
Backpropagation löst das in einem einzigen Durchgang rückwärts. Egal ob ein Modell tausend oder eine Billion Stellschrauben hat: Ein Rückwärtsdurchlauf kostet ungefähr so viel Rechenzeit wie ein Vorwärtsdurchlauf. Diese Effizienz ist der eigentliche Durchbruch. Sie ist der Grund, warum tiefe neuronale Netze überhaupt trainierbar wurden.
Die Idee ist seit den 1970er Jahren bekannt und wurde 1986 in einem berühmten Aufsatz populär gemacht. Praktisch nutzbar wurde sie aber erst um 2012, als Grafikkarten billig und schnell genug waren. Fast alles, was heute unter dem Schlagwort KI läuft, beruht auf diesem einen Algorithmus. Ein Nobelpreis für Physik ging 2024 unter anderem an Geoffrey Hinton, einen der Autoren jenes Aufsatzes.
Die Kette der Schuldzuweisungen
Ein neuronales Netz ist in Schichten aufgebaut. Die Eingabe wandert von Schicht zu Schicht nach vorne, bis am Ende ein Ergebnis steht. Diesen Weg nennt man Vorwärtsdurchlauf. Am Ende vergleicht man das Ergebnis mit der richtigen Antwort und berechnet eine Fehlerzahl. Je größer diese Zahl, desto schlechter war die Vorhersage.
Jetzt geht es rückwärts. Für die letzte Schicht lässt sich leicht bestimmen, wie sich eine Änderung ihrer Stellschrauben auf den Fehler auswirkt. Aus diesem Ergebnis folgt, welchen Anteil die vorletzte Schicht am Fehler hatte. So reicht die Information Schicht für Schicht nach hinten durch, bis die erste erreicht ist. Mathematisch steckt dahinter die Kettenregel aus der Analysis, also die Ableitung verschachtelter Funktionen.
Ein Vergleich hilft: Stell dir eine lange Lieferkette vor, an deren Ende ein defektes Produkt steht. Man fragt nicht alle Zulieferer gleichzeitig, sondern arbeitet sich Station für Station zurück. Jede Station gibt an die vorherige weiter, welcher Anteil des Defekts von dort kam. Nach einem Durchgang weiß jeder Beteiligte, wie viel er ändern muss. Genau so verteilt Backpropagation den Fehler auf die Stellschrauben.
Ein häufiger Irrtum: Backpropagation verändert selbst gar nichts. Sie berechnet nur die Richtungsangaben, die sogenannten Gradienten. Das Anpassen übernimmt ein zweites Verfahren, meist Gradientenabstieg genannt. Wie groß die Schritte sind, legt die Lernrate fest — ein Wert, den Entwickler von Hand einstellen.
Backprop in Trainingsberichten und Rechenzentren
Im Alltag begegnet man dem Begriff selten direkt, seine Folgen dagegen ständig. Jedes Sprachmodell, jede Gesichtserkennung im Handy und jeder Übersetzungsdienst wurde so trainiert. In Programmbibliotheken wie PyTorch oder TensorFlow steckt das Verfahren hinter einem einzigen Befehl. Entwickler schreiben es nicht selbst, sie rufen es auf.
In Wirtschaftsnachrichten taucht Backpropagation indirekt auf, wenn von Trainingskosten die Rede ist. Der Rückwärtsdurchlauf braucht etwa doppelt so viel Rechenaufwand wie der Vorwärtsdurchlauf und muss alle Zwischenergebnisse speichern. Deshalb ist Training so viel teurer als der spätere Betrieb eines Modells. Die enorme Nachfrage nach Grafikkarten hängt direkt daran.
Auch typische Probleme des Verfahrens werden in Fachartikeln diskutiert. Werden Netze sehr tief, können die zurücklaufenden Werte immer kleiner werden und praktisch verschwinden. Man spricht dann vom verschwindenden Gradienten. Architekturen wie Transformer enthalten Bauteile, die genau dagegen entwickelt wurden.