Trainingscluster
Ein Trainingscluster ist eine große Ansammlung spezieller Computer, die zusammengeschaltet sind, um ein KI-System aus riesigen Datenmengen lernen zu lassen. Moderne Cluster bestehen aus zehntausenden solcher Rechenchips und kosten Milliarden.
Bevor ein KI-System wie ein Chatprogramm Fragen beantworten kann, muss es lernen. Dieses Lernen nennt man Training: Das System arbeitet gigantische Mengen Text oder Bilder durch und passt dabei seine internen Einstellungen an. Dafür sind unvorstellbar viele Rechenschritte nötig — mehr, als ein einzelner Computer in vielen Jahren schaffen würde. Ein Trainingscluster ist deshalb keine einzelne Maschine, sondern ein zusammengeschalteter Verbund aus tausenden bis zehntausenden Rechenmaschinen. Sie stehen in einer Halle, sind mit sehr schnellen Kabeln verbunden und arbeiten an derselben Aufgabe. Für die Software sieht dieser Verbund im Idealfall wie ein einziger, extrem großer Computer aus.
Warum Cluster über die KI-Rangliste entscheiden
Wie gut ein KI-System wird, hängt stark davon ab, wie viel Rechenleistung in sein Training gesteckt wurde. Mehr Rechenleistung erlaubt größere Systeme und mehr Lerndaten. Deshalb ist der Zugang zu einem großen Trainingscluster für KI-Firmen fast so wichtig wie gute Forscher. Wer keinen hat, kann bei den größten Systemen einfach nicht mitspielen.
Das erklärt die enormen Investitionen, die regelmäßig in den Wirtschaftsnachrichten auftauchen. Ein einzelner moderner Rechenchip für KI kostet mehrere zehntausend Euro. Nimmt man davon zwanzigtausend Stück, plus Gebäude, Kühlung und Stromanschluss, landet man schnell im Milliardenbereich. Konzerne wie Microsoft, Google, Meta oder Amazon geben jährlich zweistellige Milliardensummen für solche Anlagen aus.
Dazu kommt der Strombedarf. Große Cluster brauchen so viel Leistung wie eine Kleinstadt. Deshalb entstehen sie oft dort, wo Strom billig und reichlich vorhanden ist. Manche Betreiber planen sogar eigene Kraftwerke direkt daneben.
Wie zehntausend Chips an einer Aufgabe arbeiten
Die Rechenarbeit übernehmen meist keine normalen Prozessoren, sondern Grafikchips, kurz GPUs. Diese Chips waren ursprünglich für Computerspiele gedacht. Sie können sehr viele einfache Rechnungen gleichzeitig ausführen — genau das, was beim KI-Training gebraucht wird. Mehrere solcher Chips sitzen in einem Gehäuse, viele Gehäuse in einem Schrank, viele Schränke in einer Halle.
Die eigentliche Schwierigkeit ist das Aufteilen der Arbeit. Alle Chips lernen am selben KI-System, also müssen sie ihre Ergebnisse ständig abgleichen. Nach jedem Rechenschritt tauschen sie ihre Anpassungen untereinander aus. Ist die Verbindung zu langsam, warten teure Chips untätig auf Daten. Deshalb steckt in einem Cluster fast so viel Ingenieursarbeit im Netzwerk wie in den Chips selbst.
Ein Vergleich macht das anschaulich: Zehntausend Menschen können ein Buch nicht schneller schreiben, wenn sie sich pausenlos abstimmen müssen. Genau dieses Abstimmungsproblem begrenzt die Größe von Clustern. Hinzu kommt Verschleiß: Bei zehntausenden Chips fällt fast täglich einer aus. Die Software muss solche Ausfälle überbrücken, ohne dass wochenlange Trainingsläufe verloren gehen.
Trainingscluster in Nachrichten und Aktienkursen
Im Alltag sieht man ein Trainingscluster nie, man benutzt nur die Ergebnisse. Jede Antwort eines KI-Chats stammt aus einem System, das vorher monatelang auf so einer Anlage gelernt hat. Beim Benutzen selbst läuft die KI dann auf anderen, kleineren Rechnern — dieser Betrieb heißt Inferenz und ist deutlich weniger aufwendig als das Training.
In den Finanznachrichten begegnet der Begriff dagegen fast täglich. Meldungen über neue Rechenzentren, über Lieferzeiten für Chips oder über Exportverbote nach China drehen sich im Kern um Trainingscluster. Der Chiphersteller Nvidia wurde vor allem deshalb zu einem der wertvollsten Unternehmen der Welt. Auch Streit über Strompreise und Wasserverbrauch für Kühlung hat hier seinen Ursprung.
Ein häufiger Irrtum ist, dass ein größerer Cluster automatisch eine bessere KI ergibt. Rechenleistung ist nur eine von mehreren Voraussetzungen. Ohne gute Trainingsdaten und ein sinnvolles Konzept nützt die teuerste Anlage wenig. Umgekehrt haben kleinere Teams gezeigt, dass sich mit klugen Verfahren auch mit weniger Chips beachtliche Ergebnisse erreichen lassen.