NVLink-C2C

In einem Computer stecken mehrere Rechenbausteine, die ständig Daten austauschen müssen. Zwischen ihnen liegen Datenleitungen, und die sind oft der langsamste Teil des Systems. NVLink-C2C ist eine solche Leitung, entwickelt von der Firma Nvidia, dem größten Hersteller von Grafik- und KI-Chips. Das Kürzel C2C steht für „Chip to Chip“, also Chip zu Chip. Die Verbindung koppelt zwei Bausteine, die im selben Gehäuse dicht nebeneinander sitzen, mit extrem hohem Tempo. Bis zu 900 Gigabyte pro Sekunde fließen darüber, das entspricht ungefähr 200 Spielfilmen in HD-Qualität pro Sekunde.

Warum der Weg zwischen zwei Chips zum Nadelöhr wird

Ein großes KI-Modell besteht aus vielen Milliarden gespeicherter Zahlen, den sogenannten Parametern. Diese Zahlen müssen bei jeder Berechnung aus dem Speicher zum Rechenwerk transportiert werden. Passt das Modell nicht in den Speicher eines einzelnen Chips, muss ständig zwischen Bausteinen hin- und hergeschoben werden. Ist die Leitung dazwischen zu schmal, wartet der teure Rechenchip die meiste Zeit nur auf Daten.

Genau hier setzt NVLink-C2C an. Die klassische Verbindung in Computern heißt PCI Express, kurz PCIe, und schafft in aktuellen Versionen etwa 64 Gigabyte pro Sekunde. NVLink-C2C ist damit rund vierzehnmal schneller. Dieser Unterschied entscheidet, ob ein KI-Modell überhaupt sinnvoll auf einem System läuft.

Der zweite Vorteil ist wirtschaftlicher Natur. Rechenzentren zahlen für Strom und für die Zeit, in der ihre Chips arbeiten. Ein Chip, der auf Daten wartet, verbraucht Strom, ohne etwas zu leisten. Schnellere Verbindungen erhöhen also die Auslastung und senken die Kosten pro Rechenaufgabe.

Kurze Wege, gemeinsamer Speicher

Der wichtigste Trick ist die Entfernung. Normale Leitungen führen über die Hauptplatine des Computers und legen mehrere Zentimeter zurück. NVLink-C2C verbindet zwei Chips, die auf demselben Trägerplättchen nur Millimeter auseinander sitzen. Kurze Wege bedeuten weniger Störungen, weniger Stromverbrauch und mehr mögliche Leitungen nebeneinander. Nvidia gibt an, dass die Verbindung pro übertragenem Datenpaket etwa fünfmal weniger Energie braucht als PCIe.

Dazu kommt eine Besonderheit in der Software. Beide Chips sehen ihren Arbeitsspeicher als einen einzigen zusammenhängenden Bereich. Man nennt das kohärenten Speicher: Ändert ein Chip einen Wert, bemerkt der andere die Änderung sofort. Programmierer müssen Daten also nicht mehr von Hand kopieren, sondern greifen einfach zu.

Ein Vergleich macht das deutlich. Zwei getrennte Chips arbeiten sonst wie zwei Kollegen in verschiedenen Büros, die sich Ordner per Bote schicken. Mit NVLink-C2C sitzen sie am selben Schreibtisch und schauen in dieselben Unterlagen. Ein häufiger Irrtum ist übrigens, NVLink-C2C mit dem normalen NVLink zu verwechseln. Das normale NVLink verbindet ganze Grafikkarten über Kabel im Serverschrank, C2C dagegen arbeitet innerhalb eines einzigen Bauteils.

Grace Hopper und die Chips in den Quartalszahlen

Am bekanntesten ist NVLink-C2C aus Nvidias Superchips. Beim Modell Grace Hopper verbindet die Technik einen Hauptprozessor namens Grace mit einem KI-Rechenchip namens Hopper. Beim Nachfolger Grace Blackwell koppelt sie zusätzlich zwei Rechenchips zu einer Einheit. Solche Bausteine stecken in den Servern, mit denen große Sprachmodelle trainiert und betrieben werden.

In Wirtschaftsnachrichten taucht der Begriff meist indirekt auf. Wenn über Nvidias Rekordumsätze oder über Lieferengpässe bei KI-Servern berichtet wird, geht es um genau diese Produkte. NVLink-C2C ist einer der Gründe, warum Konkurrenten nur schwer aufholen: Die Verbindung ist kein offener Standard, sondern gehört Nvidia. Wer sie nutzen will, kauft bei Nvidia.

Im eigenen Laptop oder Handy findet man die Technik nicht. Sie lohnt sich erst bei sehr großen Rechenaufgaben. Trotzdem berührt sie den Alltag: Jede Antwort eines Chatbots entsteht auf Servern, in denen solche Verbindungen den Datenfluss bestimmen.