HBM3E
HBM3E ist eine besonders schnelle Bauform von Arbeitsspeicher, bei der mehrere Speicherchips übereinandergestapelt und direkt neben den Rechenchip gesetzt werden. Sie steckt in fast allen aktuellen KI-Beschleunigern, weil dort nicht die Rechenleistung, sondern der Datennachschub der Engpass ist.
Jeder Computer braucht einen Arbeitsspeicher. Dort liegen die Daten, mit denen der Rechenchip gerade arbeitet. Bei normalen PCs stecken diese Speicherchips als längliche Riegel auf der Hauptplatine, einige Zentimeter vom Rechenchip entfernt. HBM3E macht es anders: Hier werden acht bis zwölf dünne Speicherchips übereinandergestapelt und dieser Turm direkt neben den Rechenchip auf denselben Träger gesetzt. Die Abkürzung steht für High Bandwidth Memory der dritten Generation, das E steht für eine verbesserte Ausbaustufe (englisch „Extended“). Der Zweck des Ganzen ist, dass pro Sekunde sehr viel mehr Daten zwischen Speicher und Rechenchip fließen können als bei herkömmlichem Speicher.
Der Flaschenhals moderner KI-Chips
Ein großes Sprachmodell besteht aus vielen Milliarden gespeicherter Zahlen, den sogenannten Parametern. Für jedes einzelne Wort, das ein Chatbot ausgibt, muss der Chip einen großen Teil dieser Zahlen aus dem Speicher holen. Die reine Rechenarbeit dauert dabei oft weniger lang als das Heranschaffen der Daten. Fachleute nennen das speicherlimitiert: Der Rechenchip wartet, statt zu rechnen.
Man kann sich das wie eine sehr schnelle Kasse im Supermarkt vorstellen. Wenn die Ware nur über ein schmales Band nachkommt, nützt die schnelle Kasse nichts. HBM3E verbreitert dieses Band massiv. Ein einzelner Stapel schafft rund 1,2 Terabyte pro Sekunde, ein üblicher PC-Speicherriegel liegt bei etwa 0,05 Terabyte pro Sekunde.
Deshalb ist HBM3E zu einem wirtschaftlich heiklen Bauteil geworden. Nur drei Unternehmen weltweit stellen solchen Speicher in großen Mengen her: SK Hynix, Samsung und Micron. Wenn deren Produktion knapp ist, können auch die Rechenchips selbst nicht ausgeliefert werden. Meldungen über ausverkaufte HBM-Kapazitäten für ein ganzes Jahr im Voraus sind in Wirtschaftsnachrichten regelmäßig zu lesen.
Chipstapel und Silizium-Durchkontaktierungen
Die Geschwindigkeit entsteht nicht durch besonders schnelle einzelne Speicherzellen. Sie entsteht durch die schiere Zahl der Leitungen. Ein normaler Speicherriegel überträgt Daten über 64 parallele Leitungen. Ein HBM3E-Stapel nutzt 1024. Jede einzelne Leitung ist dabei sogar eher langsam, aber die Masse macht es.
Möglich wird das durch zwei Bautricks. Erstens werden die gestapelten Chips senkrecht durchbohrt und die Löcher mit Metall gefüllt. Diese winzigen Durchkontaktierungen heißen im Fachjargon TSV, Through-Silicon Vias. Sie verbinden alle Etagen des Turms miteinander, ohne dass Kabel außen herumlaufen müssen. Zweitens sitzt der ganze Stapel zusammen mit dem Rechenchip auf einer gemeinsamen Trägerplatte aus Silizium, dem Interposer.
Der Preis dafür ist hoch. Die Chips müssen extrem dünn geschliffen werden, damit der Stapel nicht zu hoch wird. Ist eine einzige Etage defekt, ist der komplette Stapel Ausschuss. Außerdem entsteht im Inneren des Turms Hitze, die schwer abzuführen ist. Genau deshalb ist HBM3E pro Gigabyte um ein Vielfaches teurer als gewöhnlicher Arbeitsspeicher und wird nicht in normalen Rechnern verbaut.
Verbaut in Nvidia-Beschleunigern und in Quartalszahlen
Wer HBM3E direkt kaufen will, hat kaum eine Chance. Der Speicher wird nicht einzeln verkauft, sondern ist fest mit einem Beschleunigerchip verbaut. Man begegnet ihm in Rechenzentren: in Nvidias H200- und Blackwell-Karten, in AMDs Instinct-Serie und in ähnlichen Produkten. Wer einen Chatbot benutzt, nutzt indirekt HBM3E, ohne es zu merken.
In Finanznachrichten taucht der Begriff dagegen ständig auf. Speicherhersteller berichten in ihren Quartalszahlen getrennt über HBM-Umsätze, weil dieses Geschäft deutlich profitabler ist als klassischer Speicher. Auch die Frage, wer die Qualifizierung bei Nvidia bestanden hat, also als Zulieferer freigegeben wurde, bewegt Aktienkurse.
Ein häufiger Irrtum ist, HBM3E mache einen Chip generell schneller. Das gilt nur für Aufgaben mit sehr großen Datenmengen. Beim Spielen oder in Büroprogrammen bringt es fast nichts, weil dort die Datenmengen klein genug für normalen Speicher sind. Die nächste Stufe heißt bereits HBM4 und soll die Zahl der Leitungen noch einmal verdoppeln.