GPU-Cluster
Ein GPU-Cluster ist eine große Ansammlung spezieller Rechenchips, die über schnelle Kabel verbunden sind und gemeinsam an einer Aufgabe arbeiten. Solche Anlagen sind die Maschinen, auf denen moderne KI-Modelle trainiert und betrieben werden.
In jedem Computer steckt ein Hauptprozessor, der Rechenschritte einen nach dem anderen abarbeitet. Daneben gibt es einen zweiten Chiptyp, die Grafikkarte, kurz GPU. Sie war ursprünglich für Computerspiele gedacht und kann tausende einfache Rechnungen gleichzeitig ausführen. Genau diese Art von Rechnung braucht künstliche Intelligenz in gigantischer Menge. Weil eine einzelne solche Karte für große KI-Systeme viel zu langsam ist, schaltet man viele davon zusammen. Eine solche Anlage aus hunderten oder tausenden verbundenen Karten nennt man GPU-Cluster.
Warum ohne Cluster kein großes Sprachmodell entsteht
Ein modernes KI-Modell lernt, indem es Milliarden von Textbeispielen durchrechnet. Dabei passt es unzählige interne Zahlenwerte immer wieder minimal an. Auf einer einzelnen Grafikkarte würde dieser Vorgang viele Jahrzehnte dauern. Verteilt auf zehntausend Karten schrumpft er auf Wochen. Große KI ist deshalb nicht nur eine Frage guter Ideen, sondern auch eine Frage vorhandener Hardware.
Das macht solche Anlagen zu einem wirtschaftlichen Machtfaktor. Ein einzelner Hochleistungschip für KI kostet oft mehrere zehntausend Euro. Wer zehntausend davon kauft, gibt Summen im Milliardenbereich aus, dazu kommen Gebäude, Kühlung und Strom. Nur wenige Konzerne und Staaten können sich das leisten. Deshalb tauchen Meldungen über neue GPU-Cluster regelmäßig in den Wirtschaftsnachrichten auf.
Auch der Energieverbrauch ist ein Thema. Große Anlagen brauchen Leistung im Bereich eines Kleinstadtkraftwerks. Betreiber siedeln sie deshalb dort an, wo Strom günstig und reichlich vorhanden ist. Diskussionen über Rechenzentren und Klimaschutz drehen sich fast immer um diese Cluster.
Wie tausende Karten zu einer Maschine werden
Der Aufbau ist gestaffelt. Mehrere GPUs stecken in einem Server, einem flachen Gerät von der Größe einer Pizzaschachtel. Viele Server stehen übereinander in einem Schrank, dem Rack. Viele Racks stehen in Reihen in einer Halle. Zusammengehalten wird alles von einem Netzwerk, das die Karten mit extrem hoher Geschwindigkeit verbindet.
Dieses Netzwerk ist der eigentlich schwierige Teil. Beim Training rechnet jede Karte an einem Ausschnitt des Problems und muss ihr Zwischenergebnis anschließend mit allen anderen abgleichen. Passiert dieser Abgleich zu langsam, warten die Karten untätig. Man vergleicht das gerne mit einer Gruppenarbeit: Wenn alle nach jedem Satz Zwischenstände austauschen müssen, entscheidet nicht das Tempo der Einzelnen, sondern die Absprache. Deshalb setzen Betreiber auf Spezialverbindungen, die viel schneller sind als normales Netzwerkkabel.
Hinzu kommen praktische Probleme. Die Chips erzeugen so viel Abwärme, dass Luftkühlung oft nicht mehr reicht und Wasser durch die Server geleitet wird. Bei tausenden Bauteilen fällt außerdem ständig irgendetwas aus. Die Software muss den Trainingslauf daher regelmäßig sichern und nach einem Defekt an der letzten Sicherung weitermachen.
Cluster in Schlagzeilen und in der eigenen Steckdose
Direkt sieht man einen GPU-Cluster praktisch nie, benutzt ihn aber ständig. Jede Antwort eines Chatbots und jedes erzeugte Bild entsteht in einem Rechenzentrum auf solchen Karten. Auch Übersetzungen, Sprachassistenten und Empfehlungen in Videoportalen laufen dort. Das eigene Handy schickt nur die Anfrage hin und zeigt das Ergebnis an.
In den Nachrichten begegnet der Begriff meist in drei Formen. Erstens als Investitionsmeldung, wenn ein Konzern ein neues Rechenzentrum ankündigt. Zweitens im Zusammenhang mit Exportregeln, weil Staaten den Verkauf von KI-Chips ins Ausland beschränken. Drittens als Erklärung für Lieferengpässe, wenn Hersteller die Nachfrage nach Chips nicht bedienen können.
Ein häufiger Irrtum ist, dass ein GPU-Cluster einfach ein besonders schneller Computer wäre. Er ist eher ein Team aus vielen Rechnern, dessen Leistung stark von der Zusammenarbeit abhängt. Verwandt, aber nicht dasselbe ist der Begriff Cloud: Dort mietet man Rechenzeit auf fremder Hardware, statt selbst eine Halle zu bauen. Kleine Forschungsgruppen und Start-ups nutzen genau diesen Weg, weil ein eigener Cluster für sie unbezahlbar wäre.
