On-Chip Memory

Ein Computerchip besteht aus zwei Sorten von Bauteilen: solchen, die rechnen, und solchen, die Zahlen aufbewahren. On-Chip Memory ist der Speicher, der direkt auf demselben Plättchen sitzt wie die Rechenwerke. Er liegt also nur Bruchteile eines Millimeters von der Stelle entfernt, an der gerechnet wird. Das Gegenstück dazu ist Speicher, der als eigener Baustein daneben auf der Platine sitzt und über Leitungen angebunden ist. Der Unterschied klingt nach einer Nebensächlichkeit, entscheidet aber darüber, wie schnell ein Chip arbeitet. Denn Daten über eine lange Leitung zu holen, kostet Zeit und Strom — beides in erstaunlichem Ausmaß.

Warum kurze Wege über die Geschwindigkeit entscheiden

Rechenwerke sind heute extrem schnell geworden, Speicheranbindungen deutlich weniger. Ein modernes Rechenwerk kann in der Zeit, die ein Zugriff auf externen Speicher braucht, hunderte Rechenoperationen ausführen. Fachleute nennen dieses Missverhältnis die Speicherwand. Der Chip ist dann nicht zu langsam, er wartet nur ständig auf Nachschub.

Dazu kommt der Stromverbrauch. Eine Zahl aus dem chipinternen Speicher zu holen, kostet grob hundertmal weniger Energie als dieselbe Zahl aus einem externen Speicherbaustein zu laden. In einem Rechenzentrum, das Millionen von KI-Anfragen pro Tag beantwortet, summiert sich das zu echten Stromkosten. Deshalb ist Speicherarchitektur kein Detail für Spezialisten, sondern ein Thema in Quartalsberichten.

Der Preis dafür ist die Größe. On-Chip Memory belegt Fläche auf dem Silizium, und Siliziumfläche ist das Teuerste am ganzen Chip. Ein Grafikprozessor hat vielleicht einige hundert Megabyte davon, während daneben zig Gigabyte externer Speicher liegen. Man hat also sehr schnellen Platz in winziger Menge und langsamen Platz im Überfluss.

Der Aufbau in Ebenen

Chips lösen dieses Dilemma mit einer Hierarchie. Ganz nah am Rechenwerk liegen winzige Register, dahinter mehrere Ebenen sogenannter Caches, die man L1, L2 und L3 nennt. Je weiter außen, desto größer und desto langsamer. Ganz außen sitzt der externe Hauptspeicher.

Man kann sich das wie einen Schreibtisch vorstellen. Was man gerade in der Hand hält, sind die Register. Der Stapel direkt vor einem ist der Cache, das Regal an der Wand der Hauptspeicher. Ein guter Chip sorgt dafür, dass die gerade benötigten Daten möglichst oft schon auf dem Stapel liegen. Gelingt das, spricht man von einem Treffer, andernfalls von einem Fehlzugriff.

Technisch besteht On-Chip Memory meist aus SRAM. Diese Speicherart braucht sechs Transistoren pro gespeichertem Bit und ist deshalb sehr flächenhungrig. Externer Speicher nutzt dagegen DRAM, der mit einem Transistor und einem winzigen Kondensator auskommt. DRAM ist billiger und dichter gepackt, muss seinen Inhalt aber tausende Male pro Sekunde auffrischen — und ist dadurch langsamer.

Warum KI-Chips daran gemessen werden

Große Sprachmodelle bestehen aus Milliarden gespeicherter Zahlen, den Parametern. Für jede Antwort muss ein Chip diese Zahlen durchgehen. Sie passen niemals vollständig in den chipinternen Speicher, also werden sie ständig nachgeladen. Genau hier entscheidet sich, ob eine teure Rechenkarte ihre theoretische Leistung überhaupt erreicht.

In Produktankündigungen taucht der Begriff deshalb regelmäßig auf. Der KI-Chipentwickler Cerebras wirbt damit, seinen kompletten Speicher auf dem Chip zu haben, statt daneben. Andere Hersteller stapeln externen Speicher direkt neben dem Rechenchip und verbinden ihn extrem breit — diese Technik heißt HBM und ist ein Kompromiss zwischen beiden Welten.

Ein verbreiteter Irrtum ist, mehr On-Chip Memory sei immer besser. Jedes zusätzliche Megabyte verdrängt Rechenwerke von der gleichen Fläche. Chipdesign besteht deshalb aus Abwägungen, nicht aus Maximierung. Auch im Smartphone oder Notebook steckt derselbe Kompromiss, nur mit anderen Zahlen.