Amdahls Gesetz

Manche Aufgaben lassen sich aufteilen, andere nicht. Wer eine Wand streicht, wird mit zehn Helfern deutlich schneller fertig. Wer ein Buch lesen und dann zusammenfassen muss, gewinnt durch zehn Helfer fast nichts, weil die Schritte aufeinander folgen. Amdahls Gesetz ist die Rechenformel zu dieser Beobachtung. Sie sagt: Der Anteil einer Aufgabe, der zwingend nacheinander erledigt werden muss, setzt eine harte Obergrenze für die mögliche Beschleunigung. Der Informatiker Gene Amdahl formulierte diesen Gedanken 1967, als Computer mit mehreren Rechenwerken gerade aufkamen.

Warum mehr Chips nicht automatisch mehr Tempo bedeuten

Die Zahlen sind unbarmherzig. Nehmen wir an, 90 Prozent einer Aufgabe lassen sich auf beliebig viele Rechenwerke verteilen. Die restlichen 10 Prozent müssen strikt hintereinander ablaufen. Selbst mit unendlich vielen Prozessoren wird das Ganze dann nur zehnmal schneller. Die zehn Prozent bleiben übrig und bestimmen das Ergebnis.

Genau hier scheitern viele Erwartungen an moderne Hardware. Ein Rechenzentrum mit zehntausend Grafikkarten klingt beeindruckend. Wenn ein Trainingsvorgang aber an einer einzigen Stelle hängt, an der alle Karten auf ein gemeinsames Zwischenergebnis warten müssen, hilft die Menge kaum weiter. Ingenieure sprechen dann von einem Engpass, also einer Stelle, durch die alles hindurch muss.

Amdahls Gesetz erklärt auch, warum ein Computer mit acht Kernen — also acht Rechenwerken in einem Chip — sich im Alltag nicht achtmal so schnell anfühlt. Der Startvorgang eines Programms, das Laden einer Datei, das Warten auf eine Antwort aus dem Netz: All das läuft sequenziell, also Schritt für Schritt. Diese Anteile werden durch zusätzliche Kerne nicht kürzer.

Die Formel hinter der Obergrenze

Man teilt die Arbeit gedanklich in zwei Töpfe. Ein Anteil ist parallelisierbar, lässt sich also gleichzeitig von mehreren erledigen. Der Rest ist sequenziell und bleibt gleich lang, ganz egal wie viel Hardware man dazustellt. Die Gesamtzeit ist die Summe aus dem unveränderlichen Teil und dem geteilten Teil.

Rechnet man das durch, ergibt sich der Höchstwert der Beschleunigung als eins geteilt durch den sequenziellen Anteil. Bei 10 Prozent sequenziellem Anteil ist das Faktor 10. Bei 1 Prozent ist es Faktor 100. Bei 50 Prozent ist es lediglich Faktor 2, selbst mit einer Million Prozessoren. Der entscheidende Hebel liegt also nicht in der Menge der Hardware, sondern im Schrumpfen des sequenziellen Anteils.

Dazu kommt in der Praxis ein Zusatzaufwand, den die Formel gar nicht berücksichtigt. Rechenwerke müssen sich abstimmen, Daten austauschen und aufeinander warten. Dieser Verwaltungsaufwand wächst mit der Zahl der Beteiligten. Deshalb werden manche Programme ab einer bestimmten Zahl von Kernen sogar wieder langsamer. Ein verwandter Gedanke ist Gustafsons Gesetz: Es weist darauf hin, dass man mit mehr Hardware in der Praxis meist größere Probleme angeht, statt dasselbe Problem schneller zu lösen. Dann sieht die Bilanz freundlicher aus.

Von der Grafikkarte bis zur Projektplanung

In Technik-News taucht das Gesetz meist im Zusammenhang mit KI-Rechenzentren auf. Wenn ein Anbieter berichtet, dass ein Modelltraining nur zu 80 Prozent von der doppelten Hardware profitiert, steckt Amdahl dahinter. Auch bei Prozessoren für Handys und Notebooks ist es der Grund, warum Hersteller nicht endlos Kerne hinzufügen, sondern die einzelnen Kerne schneller machen.

Ein häufiger Irrtum lautet, das Gesetz sei ein Argument gegen parallele Hardware. Das Gegenteil ist der Fall: Es sagt nur, wo man ansetzen muss. Wer eine Anwendung beschleunigen will, sucht zuerst die sequenzielle Stelle und beseitigt sie. Erst danach lohnt zusätzliche Hardware.

Der Gedanke lässt sich sogar auf Teamarbeit übertragen. Ein Softwareprojekt wird durch mehr Entwickler nicht beliebig schneller, weil Absprachen und Abhängigkeiten bleiben. Wer einmal in einer Gruppenarbeit auf das Ergebnis eines Einzelnen gewartet hat, kennt Amdahls Gesetz aus eigener Erfahrung.