Schematischer Aufbau eines Nvidia-Grafikchips: Der Chip enthält ein Raster aus vielen Streaming-Multiprozessoren (SMs). Ein einzelner SM ist vergrößert dargestellt und zeigt seine internen Bestandteile: mehrere Gruppen von CUDA-Cores, Tensor-Cores und einen gemeinsamen Shared Memory.

Streaming-Multiprozessor

Ein Streaming-Multiprozessor ist die grundlegende Recheneinheit in einer Nvidia-Grafikchip, die Hunderte von Rechenoperationen gleichzeitig ausführt. Je mehr Streaming-Multiprozessoren ein Chip besitzt, desto mehr parallele Berechnungen kann er gleichzeitig bewältigen — entscheidend für KI-Training und Grafikrendering.

Ein Streaming-Multiprozessor — häufig als SM abgekürzt — ist der grundlegende Baustein eines Nvidia-Grafikchips. Man kann ihn sich als eine kompakte Fabrikhalle vorstellen: Darin arbeiten Hunderte von Rechenwerken gleichzeitig, jedes an einer eigenen kleinen Aufgabe. Der Chip selbst enthält nicht einen, sondern Dutzende bis Hunderte solcher Hallen nebeneinander. Zusammen ermöglichen sie es, Millionen von Einzelrechnungen pro Sekunde parallel — also gleichzeitig, nicht nacheinander — abzuarbeiten. Das unterscheidet einen Grafikchip grundlegend von der normalen Haupt-CPU eines Computers, die zwar wenige, aber dafür sehr vielseitige Kerne besitzt.

Warum der SM das Herzstück moderner KI-Chips ist

KI-Training besteht zum größten Teil aus Matrizenmultiplikation — dem massenweisen Multiplizieren und Addieren langer Zahlenreihen. Genau dafür sind Streaming-Multiprozessoren gebaut. Je mehr SMs ein Chip hat, desto mehr dieser Rechenoperationen laufen gleichzeitig ab, und desto schneller lernt ein Modell.

Ein moderner Nvidia-H100-Chip, der derzeit als Industriestandard für KI-Training gilt, enthält 132 Streaming-Multiprozessoren. Nvidia gibt für diesen Chip eine Rechenleistung von knapp 4.000 Teraflops an — das sind vier Billiarden Rechenoperationen pro Sekunde. Diese Zahl wäre ohne die massive Parallelisierung durch die SMs schlicht nicht erreichbar. Deshalb ist die Anzahl der Streaming-Multiprozessoren eine der ersten Kennzahlen, die Forscher und Entwickler beim Vergleich von KI-Chips heranziehen.

Für Grafikberechnungen gilt dasselbe Prinzip: Jeder Bildpunkt eines 3D-gerenderten Frames lässt sich unabhängig von seinen Nachbarpunkten berechnen. Viele parallele SMs erledigen diese Aufgabe im Bruchteil einer Millisekunde — schnell genug für flüssige Bewegtbilder.

Was im Inneren eines Streaming-Multiprozessors steckt

Jeder SM enthält mehrere Gruppen von sogenannten CUDA-Cores — das sind die einzelnen Rechenwerke, die schlichte Additions- und Multiplikationsoperationen durchführen. Daneben gibt es spezialisierte Tensor-Cores, die speziell für die Matrizenoperationen beim KI-Training optimiert sind und pro Takt weit mehr Rechenarbeit leisten als ein gewöhnlicher CUDA-Core.

Alle Rechenwerke eines SM teilen sich einen schnellen, kleinen Zwischenspeicher, den sogenannten Shared Memory. Dieser liegt physisch direkt neben den Rechenwerken auf dem Chip. Daten, die häufig gebraucht werden, bleiben dort liegen, statt jedes Mal den langsameren Hauptspeicher zu bemühen. Das ist ein entscheidender Geschwindigkeitsvorteil, weil der Datentransport zum Hauptspeicher oft mehr Zeit kostet als die eigentliche Rechnung.

Die Aufgaben werden in sogenannte Warps aufgeteilt — Gruppen von jeweils 32 Rechenfäden, die der SM immer gemeinsam und synchron ausführt. Wenn ein Warp kurz auf Daten warten muss, schaltet der SM sofort auf einen anderen Warp um, der schon bereit ist. So stehen die Rechenwerke so gut wie nie still.

Streaming-Multiprozessoren in Produkten und Schlagzeilen

Wer in Tech-News liest, dass Nvidia eine neue Chip-Generation mit „mehr SMs und neuen Tensor-Cores“ ankündigt, ist direkt beim Thema dieses Eintrags. Die Zahl der Streaming-Multiprozessoren bestimmt maßgeblich, wie teuer ein Chip ist und wie er sich im Markt positioniert. Nvidias Chip-Serien — von der Consumer-Linie GeForce für Spieler bis zur Datacenter-Linie H100 oder B200 für Rechenzentren — unterscheiden sich unter anderem darin, wie viele SMs freigeschaltet sind.

Beim Spielen ist der SM bereits präsent, ohne dass man es merkt: Jedes Mal, wenn eine Spielengine Lichtreflexionen oder Schattenberechnungen anfordert, verteilt der Treiber diese Arbeit auf die verfügbaren SMs. Eine Spieler-GPU wie die GeForce RTX 4090 besitzt 128 SMs — fast so viele wie der professionelle H100, allerdings mit weniger Speicher und ohne einige KI-spezifische Funktionen.

In der Diskussion um KI-Souveränität und Exportbeschränkungen taucht der SM indirekt ebenfalls auf: Die US-Regierung hat Obergrenzen für Rechenleistung festgelegt, ab denen Chips nicht mehr ohne Genehmigung exportiert werden dürfen. Diese Grenzen orientieren sich letztlich an Kennzahlen, zu denen auch die Zahl und Leistung der Streaming-Multiprozessoren beiträgt.

Související produkty

Aktuální zprávy

Subscribe free. Unsubscribe the second it sucks.

High-signal news across AI, business, UX, and tech. Every morning.