Speicherbandbreite

Ein Computerchip rechnet nicht mit Zahlen, die er selbst besitzt. Er holt sie aus einem Speicher, verarbeitet sie und schreibt das Ergebnis zurück. Die Speicherbandbreite beschreibt, wie viele Daten pro Sekunde auf diesem Weg fließen können. Angegeben wird sie meist in Gigabyte oder Terabyte pro Sekunde. Ein moderner Grafikchip für KI schafft mehrere Terabyte pro Sekunde, ein normaler Laptop eher fünfzig bis hundert Gigabyte. Man kann sich das wie eine Autobahn zwischen Lager und Werkstatt vorstellen: Die Bandbreite ist die Zahl der Fahrspuren, nicht die Größe des Lagers.

Warum Chips oft auf Daten warten

Rechenleistung ist in den letzten Jahrzehnten viel schneller gewachsen als die Geschwindigkeit des Speichers. Dadurch entsteht eine Schieflage: Die Rechenwerke könnten schneller arbeiten, bekommen aber nicht genug Nachschub. Fachleute nennen einen Chip in dieser Lage speicherlimitiert. Er läuft dann nicht mit voller Leistung, sondern wartet einen Großteil der Zeit.

Genau dieser Fall tritt bei großen Sprachmodellen sehr häufig auf. Wenn ein solches Modell ein einzelnes Wort erzeugt, muss der Chip praktisch alle gespeicherten Modellzahlen einmal durchlesen. Bei einem Modell mit 70 Milliarden Zahlen sind das je nach Speicherformat mehrere Dutzend Gigabyte — für ein einziges Wort. Die Rechenschritte selbst sind dabei vergleichsweise billig.

Deshalb wird bei KI-Beschleunigern die Bandbreite inzwischen ähnlich prominent beworben wie die Rechenleistung. Ein Chip mit doppelt so vielen Rechenwerken, aber gleicher Bandbreite, liefert bei solchen Aufgaben kaum mehr Tempo. Das erklärt auch, warum spezieller Hochgeschwindigkeitsspeicher zu einem der teuersten Bauteile in einem KI-Server geworden ist.

Fahrspuren, Takt und gestapelter Speicher

Die Bandbreite ergibt sich aus zwei Größen. Die erste ist die Breite der Datenleitungen, also wie viele Bits gleichzeitig übertragen werden. Die zweite ist der Takt, also wie oft pro Sekunde eine Übertragung stattfindet. Beide Werte multipliziert ergeben grob die Bandbreite. Man kann also entweder mehr Fahrspuren bauen oder die Autos schneller fahren lassen.

Den Takt immer weiter zu erhöhen, stößt an physikalische Grenzen und kostet viel Strom. Der aktuelle Weg geht deshalb über die Breite. Bei High Bandwidth Memory, kurz HBM, werden Speicherchips übereinandergestapelt und direkt neben den Rechenchip gesetzt. Die kurzen Wege erlauben tausende Datenleitungen parallel. So kommen die Terabyte-Werte moderner KI-Beschleuniger zustande.

Ein häufiger Irrtum ist, Bandbreite mit Speichergröße zu verwechseln. Die Größe sagt, wie viel überhaupt hineinpasst — sie entscheidet, ob ein Modell auf den Chip passt. Die Bandbreite sagt, wie schnell man an diese Daten herankommt. Ein weiterer eigener Wert ist die Latenz: die Wartezeit, bis die erste Antwort des Speichers eintrifft. Hohe Bandbreite bei gleichzeitig hoher Latenz ist möglich, ähnlich wie ein sehr breiter, aber langer Tunnel.

Von Datenblättern bis zur Grafikkarte im PC

In Meldungen über neue KI-Chips taucht die Bandbreite fast immer in den ersten Zeilen auf. Wenn ein Hersteller ankündigt, sein neuer Beschleuniger schaffe mehrere Terabyte pro Sekunde, ist damit dieser Wert gemeint. Auch die Berichte über knappen HBM-Speicher gehören in dieses Thema. Weil nur wenige Firmen weltweit solchen Speicher herstellen, gilt er als Engpass der gesamten KI-Branche.

Im Alltag begegnet der Begriff einem beim Kauf einer Grafikkarte oder eines Smartphones. Zwei Geräte mit gleich viel Speicher können sich in der Bandbreite deutlich unterscheiden. Wer ein KI-Modell auf dem eigenen Rechner laufen lässt, merkt das sofort an der Ausgabegeschwindigkeit. Die Zahl der Wörter pro Sekunde hängt dort fast direkt an der Bandbreite.

Auch Techniken zur Modellverkleinerung lassen sich so besser verstehen. Wird jede Modellzahl statt mit 16 Bit nur mit 4 Bit gespeichert, schrumpft die zu lesende Datenmenge auf ein Viertel. Das Modell antwortet dann spürbar schneller, obwohl es keinen Rechenschritt weniger ausführt. Der Gewinn kommt allein daher, dass weniger Daten durch den Flaschenhals müssen.