Interconnect
Ein Interconnect ist die schnelle Datenverbindung zwischen den Rechenchips eines Rechenzentrums. Beim Training großer KI-Modelle entscheidet sie mit darüber, wie viel Leistung tausende Chips gemeinsam tatsächlich erreichen.
Große KI-Systeme werden nicht auf einem einzelnen Rechenchip berechnet, sondern auf tausenden gleichzeitig. Damit diese Chips gemeinsam an derselben Aufgabe arbeiten können, müssen sie ständig Zwischenergebnisse austauschen. Die dafür nötigen Kabel, Stecker, Schalter und Protokolle nennt man zusammen Interconnect. Man kann es sich als das Straßennetz eines Rechenzentrums vorstellen: die Chips sind die Fabriken, der Interconnect ist alles, was Ware zwischen ihnen bewegt. Ein Interconnect wird an zwei Größen gemessen. Die Bandbreite sagt, wie viele Daten pro Sekunde durchpassen; die Latenz sagt, wie lange eine einzelne Nachricht bis zum Ziel braucht.
Warum der schnellste Chip allein nichts nützt
Beim Training eines KI-Modells bearbeitet jeder Chip nur einen Teil der Arbeit. Nach jedem Rechenschritt müssen alle Chips ihre Ergebnisse zusammenlegen und abgleichen. Dieser Abgleich passiert nicht einmal am Tag, sondern viele Male pro Sekunde. Ist die Verbindung zu langsam, warten die teuren Chips nur herum. Man bezahlt dann Rechenleistung, die man gar nicht nutzt.
In der Praxis ist das eine harte Grenze. Bei sehr großen Trainingsläufen kann die Kommunikation einen erheblichen Teil der gesamten Laufzeit verschlingen. Eine Anlage mit 20.000 Chips liefert deshalb selten die zwanzigtausendfache Leistung eines einzelnen Chips. Wie nah man an dieses Ideal herankommt, hängt stark vom Interconnect ab. Fachleute sprechen von Skalierungseffizienz.
Deshalb ist der Interconnect ein eigenes Geschäftsfeld geworden. Nvidia hat sich mit dem Kauf des Netzwerkherstellers Mellanox gezielt diese Technik gesichert. Auch Broadcom, Cisco und mehrere Startups verdienen an Netzwerkchips für KI-Rechenzentren. Wer Aktiennachrichten liest, findet den Begriff dort regelmäßig.
Vom Kupferkabel im Rack bis zur Glasfaser zwischen Gebäuden
Interconnects gibt es auf mehreren Ebenen, und sie werden nach außen hin langsamer. Direkt auf einer Platine oder in einem Serverschrank verbinden kurze Kupferleitungen acht oder sechzehn Chips sehr eng. Nvidia nennt diese Technik NVLink. Solche Verbindungen sind extrem schnell, aber nur über wenige Meter möglich.
Zwischen den Serverschränken übernimmt Netzwerktechnik wie InfiniBand oder sehr schnelles Ethernet, meist über Glasfaser. Hier laufen die Daten über Switches, also Verteilerknoten, die Nachrichten weiterleiten. Wie diese Knoten verschaltet sind, heißt Topologie. Eine gängige Bauform ist der Fat Tree: viele Chips unten, immer dickere Verbindungen nach oben, damit kein Weg zum Nadelöhr wird.
Ein häufiger Irrtum ist, Interconnect und normales Internet gleichzusetzen. Der Unterschied ist die Größenordnung. Ein guter Hausanschluss schafft vielleicht ein Gigabit pro Sekunde. Moderne Chip-zu-Chip-Verbindungen liegen im Bereich von hunderten Gigabit oder mehreren Terabit pro Sekunde. Und sie sind auf gleichmäßige, vorhersehbare Verzögerung ausgelegt, weil ein einziger langsamer Chip die ganze Gruppe ausbremst.
Der Begriff in Produktankündigungen und Börsennews
Bei jeder neuen Chipgeneration wird der Interconnect eigens beworben. Nvidia stellt seine Systeme nicht als einzelne Grafikprozessoren vor, sondern als Racks, in denen dutzende Chips über NVLink zu einer Einheit verschmelzen. Genau das ist das eigentliche Verkaufsargument gegenüber der Konkurrenz. Wenn in einer Meldung Zahlen wie 'Terabyte pro Sekunde' auftauchen, geht es fast immer um Interconnect-Bandbreite.
Der Begriff taucht auch bei Rechenzentrumsprojekten und Standardisierungsstreits auf. Ein Bündnis mehrerer Hersteller arbeitet unter dem Namen Ultra Ethernet daran, offene Alternativen zu proprietären Verbindungen zu schaffen. Dahinter steckt handfestes Interesse: Wer den Standard kontrolliert, bindet Kunden langfristig an sich.
Im Alltag begegnet die Technik einem indirekt. Dass ein Chatbot in Sekunden antwortet, liegt auch daran, dass ein Modell über mehrere Chips verteilt läuft und diese eng gekoppelt sind. Für Privatrechner spielt das keine Rolle, dort steckt ein einzelner Prozessor. Interconnect ist ein Thema des Maßstabs, und der Maßstab ist bei KI zuletzt enorm gewachsen.