Compute-Cluster

Ein einzelner Computer hat eine begrenzte Rechenleistung. Manche Aufgaben sind aber so groß, dass ein Gerät Jahrzehnte bräuchte. Die Lösung: man stellt viele Computer in eine Halle, verbindet sie mit sehr schnellen Kabeln und lässt sie dieselbe Aufgabe gemeinsam bearbeiten. Diesen Verbund nennt man Compute-Cluster, auf Deutsch etwa Rechenverbund. Die einzelnen Geräte darin heißen Knoten. Von außen sieht ein Cluster für den Benutzer wie eine einzige, sehr große Maschine aus.

Warum Cluster über KI-Fortschritt entscheiden

Moderne KI-Systeme lernen aus riesigen Textmengen. Dieses Lernen nennt man Training, und es besteht aus unvorstellbar vielen einfachen Rechenschritten. Ein moderner Gaming-PC bräuchte dafür viele Tausend Jahre. Ein großes Cluster schafft dieselbe Arbeit in Wochen. Wer kein Cluster hat, kann bei den größten Modellen also gar nicht mitspielen.

Deshalb sind Cluster zu einem wirtschaftlichen Machtfaktor geworden. Unternehmen wie Microsoft, Google, Meta oder Amazon geben zusammen jährlich mehrere Hundert Milliarden Dollar für Rechenzentren aus. Ein einzelnes großes KI-Cluster kann mehrere Milliarden Dollar kosten. Der Bau dauert oft ein bis zwei Jahre, weil Grundstück, Stromanschluss und Kühlung erst entstehen müssen.

Auch die Politik interessiert sich dafür. Die USA beschränken den Export besonders schneller Chips nach China, weil damit große Cluster gebaut werden könnten. Rechenleistung wird so behandelt wie ein strategischer Rohstoff. In Nachrichten liest man dafür oft das englische Wort Compute, also schlicht « Rechenleistung ».

Vom einzelnen Chip zur Rechenhalle

Das Herzstück eines KI-Clusters sind Grafikchips, kurz GPUs. Sie wurden ursprünglich für Computerspiele entwickelt. Ihre Stärke ist, viele gleichartige Rechnungen parallel auszuführen, und genau das braucht KI-Training. Mehrere GPUs stecken zusammen in einem Server, mehrere Server in einem Schrank, den man Rack nennt. Ein großes Cluster besteht aus Tausenden solcher Schränke.

Der entscheidende Teil ist aber nicht die Rechnung, sondern die Verbindung. Beim Training bearbeitet jeder Chip nur einen Teil der Aufgabe. Nach jedem Schritt müssen alle Chips ihre Zwischenergebnisse austauschen. Dafür nutzt man spezielle Netzwerke, die pro Sekunde mehrere Hundert Gigabyte übertragen. Ist diese Verbindung zu langsam, warten teure Chips nur herum.

Dazu kommen Strom und Kühlung. Große Cluster verbrauchen mehrere Hundert Megawatt, so viel wie eine Kleinstadt. Die Abwärme führt man zunehmend mit Wasser ab, weil Luft nicht mehr ausreicht. Ein Verwaltungsprogramm, der Scheduler, verteilt außerdem die Aufträge auf freie Knoten. Wichtig ist noch die Abgrenzung zur Cloud: Cloud beschreibt, dass man Rechenleistung mietet. Ein Cluster ist die Hardware selbst, die dahintersteht.

Cluster mit Namen: Colossus, Stargate und der Uni-Rechner

In Wirtschaftsnachrichten tauchen einzelne Cluster mittlerweile mit Eigennamen auf. Elon Musks KI-Firma xAI baute in Memphis ein Cluster namens Colossus mit über hunderttausend GPUs. OpenAI und Partner treiben unter dem Namen Stargate Rechenzentren für dreistellige Milliardenbeträge voran. Solche Meldungen bewegen die Aktienkurse von Chipherstellern wie Nvidia deutlich.

Man begegnet Clustern aber auch außerhalb der KI. Wettervorhersagen, Klimamodelle und Crashsimulationen in der Autoindustrie laufen auf ihnen. Universitäten betreiben eigene Cluster für Forschungsgruppen. Die schnellsten Anlagen der Welt heißen Supercomputer und werden zweimal jährlich in einer Rangliste verglichen.

Wer selbst Rechenleistung braucht, kauft heute selten Hardware. Stattdessen mietet man Zeit auf einem fremden Cluster, oft im Stundentarif pro Chip. Ein Schüler, der ein kleines Modell trainieren will, nutzt genau dieselbe Infrastruktur wie ein Konzern, nur für wenige Minuten. Ein häufiger Irrtum ist übrigens, dass ein Cluster einzelne Antworten eines Chatbots schneller macht. Für eine einzelne Anfrage genügen meist wenige Chips, das Cluster dient vor allem sehr vielen Anfragen gleichzeitig oder dem Training.