HBM
HBM (High Bandwidth Memory) ist ein besonders schneller Arbeitsspeicher, der direkt neben dem Rechenchip sitzt und vor allem in KI-Beschleunigern wie GPUs zum Einsatz kommt. Er ist der entscheidende Engpass bei großen KI-Modellen: Wer schnelleren HBM hat, kann mehr Daten pro Sekunde verarbeiten – und damit größere Modelle effizienter betreiben.
HBM steht für High Bandwidth Memory, auf Deutsch etwa „Speicher mit hoher Übertragungsbreite“. Es handelt sich um eine besondere Bauform von Arbeitsspeicher, die nicht irgendwo auf der Hauptplatine eines Computers sitzt, sondern direkt neben dem Rechenchip – manchmal sogar auf demselben kleinen Träger. Dadurch können extrem viele Daten gleichzeitig fließen, viel mehr als bei herkömmlichem Speicher. Entwickelt wurde HBM ursprünglich für Grafikkarten, heute ist er vor allem in KI-Chips unverzichtbar. Ohne ihn wären große Sprachmodelle wie GPT oder Gemini im Betrieb viel langsamer.
HBM als Engpass im KI-Chip
Ein KI-Modell besteht aus Milliarden von Zahlenwerten, den sogenannten Parametern. Bei jeder Anfrage – zum Beispiel wenn man dem Chatbot eine Frage stellt – müssen diese Zahlenwerte aus dem Speicher in den Rechenkern geladen werden. Geht das langsam, wartet der Rechenkern untätig. Das ist so, als würde ein Fabrikarbeiter die meiste Zeit damit verbringen, auf das nächste Teil zu warten, statt tatsächlich zu arbeiten.
Genau hier liegt der Engpass: Nicht die Rechengeschwindigkeit des Chips ist das Problem, sondern wie schnell Daten aus dem Speicher nachgeliefert werden. Dieser Engpass hat sogar einen Namen – Forscher nennen ihn die „Memory Wall“, also die Speichermauer. HBM wurde entwickelt, um diese Mauer so weit wie möglich einzureißen. Die aktuell verbreitete Generation HBM3 schafft dabei Übertragungsraten von über einem Terabyte pro Sekunde – das entspricht dem Inhalt von etwa 200 DVDs, die jede Sekunde hin- und hergeschoben werden.
Wie HBM so viel Durchsatz erreicht
Normaler Arbeitsspeicher – zum Beispiel der DDR5-Speicher in einem Laptop – ist über eine Art Datenstraße mit dem Prozessor verbunden. Diese Straße hat eine begrenzte Breite, also eine begrenzte Anzahl an Spuren, über die gleichzeitig Bits fließen können. HBM löst das anders: Mehrere Speicherchips werden übereinander gestapelt, ähnlich wie Stockwerke in einem Gebäude. Zwischen den Stockwerken verlaufen tausende winzige senkrechte Verbindungen, sogenannte Through-Silicon Vias (TSVs). So entstehen nicht eine schmale Straße, sondern tausende parallele Kanäle.
Dieser Stapel wird dann direkt neben dem Rechenchip auf einem gemeinsamen Träger platziert, dem sogenannten Interposer. Die kurze Distanz reduziert den Energieverbrauch pro übertragenem Datenbyte erheblich. HBM ist also nicht nur schneller als herkömmlicher Speicher, sondern auch effizienter – ein wichtiger Punkt, da KI-Rechenzentren enorme Mengen Strom verbrauchen. Der Nachteil: HBM ist deutlich teurer in der Herstellung und schwieriger zu produzieren als normaler Speicher.
Weil die Stapel sehr komplex zu fertigen sind, gibt es weltweit nur wenige Hersteller, die HBM produzieren können – vor allem SK Hynix, Samsung und Micron. Das macht HBM zu einem strategisch knappen Gut.
HBM in Produkten, News und Geopolitik
Wer Berichte über KI-Chips liest, stößt auf HBM fast zwangsläufig. Nvidias Grafikprozessoren der H100- und H200-Serie, die das Rückgrat der meisten KI-Rechenzentren weltweit bilden, sind mit mehreren HBM-Stapeln bestückt. Der H100 trägt zum Beispiel 80 Gigabyte HBM3 und erreicht damit eine Speicherbandbreite von rund 3,35 Terabyte pro Sekunde. Ähnliche Chips kommen von AMD und Google.
HBM spielt auch in der Geopolitik eine wachsende Rolle. Die USA haben Exportbeschränkungen für fortschrittliche KI-Chips nach China eingeführt – und diese Beschränkungen betreffen ausdrücklich auch HBM-Speicher, weil er als essenziell für leistungsfähige KI gilt. Wer die HBM-Produktion kontrolliert, hat damit einen strategischen Hebel in der globalen KI-Entwicklung.
Für Verbraucher ist HBM unsichtbar – er steckt in Serverfarmen, nicht in Smartphones oder Laptops. Trotzdem hat er direkten Einfluss auf die Antwortgeschwindigkeit von KI-Diensten und auf die Modellgröße, die überhaupt sinnvoll betrieben werden kann. Jede Antwort, die ein großes Sprachmodell gibt, hat HBM irgendwo in der Lieferkette.