InfiniBand

Ein modernes Rechenzentrum besteht aus tausenden einzelnen Computern, die in Schränken stehen. Diese Computer müssen ständig Daten untereinander austauschen. InfiniBand ist eine Technik, die genau das erledigt: Kabel, Steckkarten und Verteilerkästen, die die Rechner miteinander verbinden. Sie ist eine Alternative zu Ethernet, also zu der Netzwerktechnik, die in Büros und Wohnungen üblich ist. Der Unterschied liegt im Tempo und vor allem in der Verzögerung. InfiniBand ist darauf ausgelegt, dass Daten in Millionstel Sekunden ankommen, nicht erst in Tausendstel Sekunden.

Warum KI-Training ohne schnelle Verbindungen scheitert

Große KI-Modelle passen längst nicht mehr in einen einzelnen Computer. Man verteilt das Modell deshalb auf tausende Grafikkarten, die parallel rechnen. Nach jedem Rechenschritt müssen diese Karten ihre Zwischenergebnisse abgleichen. Das passiert nicht einmal am Tag, sondern viele Male pro Sekunde.

Dadurch wird das Netzwerk zum Flaschenhals. Ist die Verbindung zu langsam, warten teure Grafikkarten untätig auf Daten. Fachleute sprechen dann von schlechter Auslastung. Bei einem Trainingslauf, der Wochen dauert und Millionen kostet, macht das einen gewaltigen Unterschied.

Ein Vergleich hilft: Eine Gruppenarbeit scheitert selten daran, dass die Einzelnen zu langsam denken. Sie scheitert daran, dass die Absprachen zu lange dauern. Genau diese Absprachen beschleunigt InfiniBand.

Direkter Zugriff auf fremden Speicher

Das wichtigste Prinzip hinter InfiniBand heißt RDMA, ausgeschrieben Remote Direct Memory Access. Dabei schreibt ein Computer Daten direkt in den Arbeitsspeicher eines anderen Computers. Das Betriebssystem des Zielrechners ist daran gar nicht beteiligt. Bei normalen Netzwerken muss dagegen jedes Datenpaket durch mehrere Software-Schichten wandern, was Zeit kostet.

Man kann sich das wie eine Paketannahme vorstellen. Normalerweise klingelt der Bote, jemand öffnet, sortiert das Paket und legt es ins Regal. Bei RDMA legt der Bote das Paket selbst ins richtige Fach, weil er den Schlüssel hat. Diese Abkürzung senkt die Verzögerung auf etwa eine Mikrosekunde, also ein Millionstel einer Sekunde.

Hinzu kommt eine Eigenschaft namens verlustfreier Transport. Ethernet wirft Datenpakete notfalls weg, wenn ein Gerät überlastet ist, und lässt sie erneut senden. InfiniBand bremst den Absender stattdessen vorher aus, sodass nichts verloren geht. Aktuelle Generationen übertragen dabei 400 Gigabit pro Sekunde und mehr über eine einzige Leitung.

Nvidia, Mellanox und der Streit mit Ethernet

InfiniBand stammt ursprünglich von der israelischen Firma Mellanox. Nvidia hat sie 2019 für rund 6,9 Milliarden Dollar gekauft. Damit verkauft Nvidia heute nicht nur die Grafikkarten für KI, sondern auch die Netzwerktechnik dazwischen. In Quartalszahlen taucht dieser Bereich als eigener Posten auf und wächst kräftig mit.

Wer Nachrichten über neue KI-Rechenzentren liest, stößt deshalb regelmäßig auf den Begriff. Meist geht es um die Frage, wie viele Grafikkarten sich sinnvoll zusammenschalten lassen. Auch in den Ranglisten der schnellsten Supercomputer der Welt taucht InfiniBand seit Jahren häufig auf.

Ein verbreiteter Irrtum ist, InfiniBand sei ohne Alternative. Konkurrenten wie Broadcom und ein Firmenbündnis namens Ultra Ethernet Consortium arbeiten daran, Ethernet ähnlich schnell zu machen. Große Betreiber wie Meta setzen bereits auf solche Ethernet-Varianten. Im heimischen WLAN wird InfiniBand dagegen nie auftauchen: Die Technik ist zu teuer und nur für kurze Strecken im Rechenzentrum gedacht.