High-Bandwidth-Memory
High-Bandwidth-Memory ist eine besonders schnelle Art von Arbeitsspeicher, die direkt neben dem Rechenchip sitzt und Daten in extrem breiten Datenbahnen liefert. Ohne diesen Speicher könnten moderne KI-Chips ihre Rechenleistung gar nicht ausnutzen, weshalb HBM zu den knappsten Bauteilen der Branche gehört.
Jeder Computerchip, der rechnet, braucht einen Ort, an dem die Zahlen liegen, mit denen er gerade arbeitet. Dieser Zwischenlager-Speicher heißt Arbeitsspeicher. Bei normalen Computern steckt er als kleine Platine ein paar Zentimeter neben dem Rechenchip. High-Bandwidth-Memory macht es anders: Der Speicher besteht aus mehreren dünnen Speicherscheiben, die aufeinandergestapelt und direkt an den Rechenchip angeklebt werden. Weil der Weg so kurz ist, passen sehr viele Datenleitungen parallel dazwischen. Dadurch kommen pro Sekunde enorm viele Daten beim Chip an. Genau das meint das Wort Bandbreite: die Menge an Daten, die pro Sekunde durch eine Verbindung fließt.
Warum KI-Chips ohne HBM verhungern
Ein KI-Modell besteht aus vielen Milliarden gespeicherten Zahlen, den Parametern. Damit das Modell eine Antwort erzeugt, muss der Chip diese Zahlen aus dem Speicher holen und miteinander verrechnen. Das passiert nicht einmal, sondern für jedes einzelne Wort der Antwort neu. Der Chip liest also ständig gigantische Datenmengen.
Dabei entsteht ein Ungleichgewicht. Die Rechenwerke moderner Grafikchips sind so schnell geworden, dass sie meistens warten. Nicht das Rechnen bremst, sondern der Nachschub an Daten. Fachleute nennen das speichergebunden: Die Leistung hängt an der Bandbreite, nicht an der Rechenkraft. Ein Rennwagen auf einer einspurigen Straße ist genauso schnell wie ein Kleinwagen.
Deshalb entscheidet HBM mit darüber, was ein KI-Rechenzentrum leisten kann. Der Speicher ist auch ein wirtschaftlicher Faktor: Bei teuren KI-Beschleunigern macht der verbaute HBM einen erheblichen Teil der Herstellungskosten aus. Weltweit können ihn nur wenige Firmen fertigen, vor allem SK Hynix, Samsung und Micron. Wenn deren Produktion nicht mitkommt, fehlen fertige KI-Chips — selbst wenn genug Rechenchips da wären.
Stapel, Durchkontaktierungen und ein gemeinsames Trägerplättchen
Ein HBM-Baustein besteht aus vier bis sechzehn Speicherchips, die übereinanderliegen. Verbunden sind sie durch winzige Löcher, die senkrecht durch das Silizium gebohrt und mit Metall gefüllt sind. Diese Durchkontaktierungen ersetzen lange Leiterbahnen. Der Datenweg geht dadurch nach oben und unten statt quer über eine Platine.
Der Stapel wird anschließend zusammen mit dem Rechenchip auf ein gemeinsames Trägerplättchen gesetzt, den sogenannten Interposer. Auf diesem Träger verlaufen tausende feine Leitungen zwischen Speicher und Chip. Normaler Grafikspeicher kommt auf ein paar hundert solcher Leitungen, HBM auf mehrere tausend. Jede einzelne Leitung ist dabei nicht besonders schnell — die Menge macht den Unterschied. Das ist der Trick: viele langsame Spuren statt einer schnellen.
Der Preis dafür ist Aufwand. Das Stapeln und Verbinden ist heikel, und ein einziger defekter Chip im Stapel macht das ganze Paket unbrauchbar. Deshalb ist die Ausbeute in der Produktion niedriger als bei gewöhnlichem Speicher. Ein häufiger Irrtum ist außerdem, HBM sei einfach mehr Speicher. Es ist vor allem schnellerer Speicher; die Kapazität pro Baustein liegt oft nur bei einigen Dutzend Gigabyte.
HBM in Produkten und Quartalszahlen
Am häufigsten liest man von HBM im Zusammenhang mit KI-Beschleunigern für Rechenzentren. Nvidias Chips für KI-Training tragen HBM ebenso wie die Konkurrenzprodukte von AMD und die selbst entwickelten Chips großer Cloud-Anbieter. Wenn eine Firma eine neue Chip-Generation vorstellt, gehört die HBM-Version fast immer zu den genannten Daten, etwa HBM3e oder HBM4.
In Wirtschaftsnachrichten taucht der Begriff aus einem anderen Grund auf. Speicherhersteller verdienen an HBM deutlich mehr als an Speicher für Handys und Notebooks. Meldungen über ausverkaufte HBM-Kapazitäten für die kommenden Jahre bewegen daher Aktienkurse. Auch Lieferengpässe bei KI-Chips werden oft auf Speicher und Verpackungstechnik zurückgeführt, nicht auf die Rechenchips selbst.
Im eigenen Gerät begegnet man HBM dagegen praktisch nie. Gaming-Grafikkarten nutzen den günstigeren GDDR-Speicher, Laptops normale DDR-Module. Wer aber einen Chatbot benutzt, verwendet HBM indirekt: Die Antwort entsteht in einem Rechenzentrum, auf einem Chip, dessen Speicherstapel die Modellparameter bereithält.