Cluster (Rechencluster)

Ein Rechencluster ist ein Zusammenschluss vieler einzelner Computer, die gemeinsam eine Aufgabe bearbeiten. Die einzelnen Rechner heißen Knoten. Sie stehen meist als flache Kästen in Metallschränken in einem großen, klimatisierten Gebäude. Verbunden sind sie über ein sehr schnelles Netzwerk, damit sie Zwischenergebnisse ständig untereinander austauschen können. Nach außen wirkt das Ganze wie eine einzige, extrem leistungsfähige Maschine. Wer sich per Internet anmeldet, sieht nicht hundert Computer, sondern schickt einfach einen Auftrag ab.

Warum ein einzelner Rechner für KI nicht reicht

Das Anlernen eines großen Sprachmodells besteht aus unfassbar vielen einfachen Rechenschritten. Ein guter Gaming-PC würde daran nicht Wochen, sondern viele Jahrhunderte rechnen. Diese Zeit hat niemand. Also verteilt man die Arbeit auf tausende Rechenkerne, die parallel arbeiten. Ein Cluster ist die praktische Antwort auf ein reines Zeitproblem.

Deshalb sind Cluster in der KI-Branche auch ein wirtschaftlicher Faktor. Die verwendeten Spezialchips kosten pro Stück oft mehrere zehntausend Euro. Ein großes Trainingscluster kann daher Investitionen in Milliardenhöhe bedeuten. Dazu kommen Stromkosten, denn eine solche Anlage verbraucht so viel Energie wie eine Kleinstadt. Wenn in den Nachrichten von KI-Ausgaben die Rede ist, geht es meistens genau darum.

Cluster gibt es aber nicht nur für KI. Wettervorhersagen, Klimamodelle, Crashsimulationen in der Autoindustrie und Berechnungen in der Physik laufen ebenfalls auf solchen Verbünden. Der Begriff ist also älter als der aktuelle KI-Boom. Neu ist vor allem, wie stark diese Anlagen jetzt auf einen einzigen Zweck zugeschnitten werden.

Wie die Arbeit auf die Knoten verteilt wird

Zentral ist ein Programm, das Aufträge verwaltet und einteilt. Es nimmt Anfragen an, stellt sie in eine Warteschlange und weist ihnen freie Knoten zu. Fachleute nennen so ein Programm Scheduler, also Ablaufplaner. Man kann es sich wie die Disposition einer Spedition vorstellen. Sie entscheidet, welcher Auftrag auf welchen freien LKW geht.

Beim KI-Training bearbeiten die Knoten nicht getrennte Aufgaben, sondern dieselbe. Jeder rechnet mit einem anderen Teil der Trainingsdaten und muss seine Ergebnisse danach mit allen anderen abgleichen. Dieser Abgleich passiert tausende Male pro Trainingslauf. Deshalb ist das Netzwerk zwischen den Knoten oft wichtiger als die Rechenleistung selbst. Ist es zu langsam, warten teure Chips untätig auf Daten.

Ein zweites Grundprinzip ist die Fehlertoleranz. Bei tausenden Bauteilen fällt statistisch fast täglich irgendwo etwas aus. Ein Cluster ist deshalb so gebaut, dass der Ausfall eines Knotens den Betrieb nicht beendet. Trainingsläufe speichern regelmäßig Zwischenstände und setzen nach einem Fehler dort wieder an. Genau das unterscheidet einen Cluster von einem einzelnen Großrechner.

Cluster in Schlagzeilen und in der Cloud

Am häufigsten liest man von Clustern, wenn Konzerne neue Rechenzentren ankündigen. Dann fallen Angaben wie „100.000 Grafikchips“ oder Zahlen zum Stromverbrauch in Megawatt. Diese Zahlen gelten inzwischen als Maß dafür, wie ernst ein Unternehmen im KI-Wettbewerb mitspielt. Auch Standortdebatten drehen sich darum, etwa wenn Anwohner sich über Wasser- und Energiebedarf beschweren.

Man muss aber keinen eigenen Cluster besitzen, um einen zu nutzen. Große Anbieter vermieten Rechenzeit stundenweise über das Internet, das nennt man Cloud. Eine Forschungsgruppe oder ein Start-up bucht dann für ein Projekt einige Knoten und zahlt nur die genutzten Stunden. Universitäten betreiben zusätzlich eigene Cluster für Studierende und Forschende.

Ein verbreiteter Irrtum ist, dass Cluster und Cloud dasselbe seien. Cluster beschreibt die technische Bauform, Cloud das Geschäftsmodell dahinter. Ebenso wird Cluster manchmal mit Supercomputer verwechselt. Die meisten heutigen Supercomputer sind schlicht sehr große, besonders eng verkoppelte Cluster.