High Performance Computing Cluster
Ein High Performance Computing Cluster ist ein Verbund aus vielen einzelnen Computern, die über ein sehr schnelles Netzwerk zusammengeschaltet sind und gemeinsam an einer einzigen großen Rechenaufgabe arbeiten. Solche Anlagen stecken hinter Wettervorhersagen, Klimamodellen und dem Training großer KI-Modelle.
Manche Rechenaufgaben sind für einen einzelnen Computer zu groß. Eine Wettervorhersage für ganz Europa oder das Training eines Sprachprogramms würde auf einem Laptop Jahrzehnte dauern. Die Lösung: Man schaltet sehr viele Computer zusammen und lässt sie gleichzeitig an derselben Aufgabe arbeiten. Ein solcher Verbund heißt High Performance Computing Cluster, kurz HPC-Cluster. Die einzelnen Rechner darin nennt man Knoten, und sie sind über ein extrem schnelles Netzwerk miteinander verbunden. Nach außen wirkt das Ganze wie eine einzige riesige Maschine, obwohl es aus tausenden Bausteinen besteht.
Rechenleistung als Nadelöhr der KI
Für die KI-Branche sind HPC-Cluster derzeit der wichtigste Engpass. Ein modernes Sprachmodell zu trainieren, kostet Wochen Rechenzeit auf zehntausenden spezialisierten Chips. Wer diese Anlagen nicht hat, kann bei den größten Modellen schlicht nicht mitspielen. Deshalb geben Unternehmen wie Microsoft, Google oder Meta zweistellige Milliardenbeträge pro Jahr für den Bau solcher Rechenzentren aus.
Das erklärt auch, warum Chiphersteller in den letzten Jahren so stark an der Börse gestiegen sind. Nvidia verkauft die Grafikchips, die in fast jedem KI-Cluster stecken, und ist dadurch zeitweise zum wertvollsten Unternehmen der Welt geworden. Wenn in den Wirtschaftsnachrichten von KI-Investitionen die Rede ist, geht es meist um genau diese Hardware.
Neben der Wirtschaft hängt auch die Forschung daran. Klimaforschung, Medikamentenentwicklung und Materialphysik brauchen Simulationen, die nur auf solchen Anlagen laufen. Staaten betreiben deshalb eigene Rechenzentren, in Deutschland etwa in Jülich, München und Stuttgart. Sie gelten als Infrastruktur, ähnlich wichtig wie Straßen oder Stromnetze.
Vom Knoten zur Gesamtmaschine
Ein Cluster besteht aus Racks, also Schränken, in denen die Knoten übereinander eingeschoben sind. Jeder Knoten ist im Prinzip ein Server mit Prozessoren, Arbeitsspeicher und oft mehreren Grafikchips. Grafikchips sind hier deshalb beliebt, weil sie tausende einfache Rechnungen gleichzeitig ausführen können. Genau das braucht man bei KI, wo ständig große Zahlentabellen multipliziert werden.
Entscheidend ist die Verbindung zwischen den Knoten. Sie müssen ihre Zwischenergebnisse ständig austauschen, sonst rechnet jeder für sich am falschen Zustand weiter. Dafür nutzt man Spezialnetzwerke wie InfiniBand, die Daten in Bruchteilen einer Millionstelsekunde weiterreichen. Ein normales Bürokabel wäre hier der Flaschenhals, an dem die ganze Anlage verhungert.
Die Arbeit verteilt eine Software namens Scheduler. Nutzer melden ihre Rechenaufgabe an, der Scheduler weist ihnen Knoten und Zeitfenster zu und stellt sie bei Bedarf in eine Warteschlange. Dazu kommt die Kühlung: Ein großes Cluster verbraucht so viel Strom wie eine Kleinstadt, und fast die gesamte Energie wird am Ende zu Wärme. Moderne Anlagen werden deshalb mit Wasser gekühlt statt mit Luft.
Rechenzeit mieten statt Cluster bauen
Direkten Kontakt mit einem HPC-Cluster hat kaum jemand, den Ergebnissen begegnet man aber täglich. Die Wetter-App auf dem Handy zeigt das Resultat einer Simulation, die nachts auf einem Supercomputer des Deutschen Wetterdienstes gelaufen ist. Auch jede Antwort eines Chatbots stammt von einem Modell, das auf so einer Anlage trainiert wurde.
Man muss ein Cluster heute nicht mehr selbst besitzen. Anbieter wie Amazon Web Services oder Google Cloud vermieten Rechenzeit stundenweise, was man Cloud Computing nennt. Ein Startup kann so für ein paar tausend Euro rechnen lassen, wofür früher ein eigenes Rechenzentrum nötig gewesen wäre. In Meldungen über KI-Firmen taucht deshalb oft der Begriff Compute auf: gemeint ist die verfügbare Rechenleistung als knappes Gut.
Ein verbreiteter Irrtum ist, ein Cluster sei einfach ein besonders schneller Computer. Tatsächlich ist der einzelne Knoten oft nicht viel stärker als ein guter Gaming-PC. Die Leistung entsteht erst durch die Menge und durch die Software, die eine Aufgabe sauber in tausende Teile zerlegt. Lässt sich ein Problem nicht aufteilen, nützt auch das größte Cluster nichts.
