Colossus

Colossus ist eine gigantische Rechenanlage im US-Bundesstaat Tennessee, genauer in der Stadt Memphis. Betrieben wird sie von xAI, dem KI-Unternehmen von Elon Musk. In der Halle stehen hunderttausende Spezialchips, die alle gemeinsam an derselben Aufgabe rechnen. Diese Aufgabe ist das Training: Ein Computerprogramm liest dabei riesige Mengen Text und lernt daraus, welche Wörter typischerweise aufeinander folgen. Das Ergebnis solcher Rechenläufe sind die Chatprogramme der Reihe Grok, die xAI anbietet. Der Name Colossus stammt aus dem Griechischen und bedeutet schlicht Koloss, also Riese.

Warum xAI eine eigene Halle bauen musste

Moderne KI-Systeme entstehen nicht auf normalen Computern. Ein einzelner Trainingslauf kann Wochen dauern und dabei so viel Strom verbrauchen wie eine Kleinstadt. Wer solche Modelle bauen will, braucht deshalb Zugriff auf sehr viel Rechenleistung an einem Ort. Wer diesen Zugriff nicht hat, kann bei der Entwicklung schlicht nicht mithalten.

xAI startete 2023 sehr spät im Vergleich zu Konkurrenten wie OpenAI oder Google. Um den Rückstand aufzuholen, setzte die Firma auf Tempo beim Bau. Die erste Ausbaustufe von Colossus entstand nach eigenen Angaben in rund 122 Tagen. Üblich sind für Anlagen dieser Größe eher zwei Jahre. Diese Geschwindigkeit wurde in der Branche viel diskutiert und ist ein Grund, warum der Name so bekannt wurde.

Colossus steht außerdem stellvertretend für eine größere Entwicklung. Rechenzentren sind zum entscheidenden Wettbewerbsfaktor der KI-Branche geworden. Wenn Anleger den Wert von KI-Firmen einschätzen, schauen sie deshalb auch darauf, wie viele Chips eine Firma besitzt.

Was in der Halle steht

Das Herzstück sind Grafikprozessoren, kurz GPUs. Diese Chips wurden ursprünglich für Computerspiele entwickelt, weil sie sehr viele einfache Rechnungen gleichzeitig ausführen können. Genau das braucht man auch beim Training von KI. Colossus startete mit rund 100.000 solcher Chips vom Hersteller Nvidia und wurde seitdem mehrfach erweitert. Eine zweite Anlage namens Colossus 2 ist im Bau.

Damit die Chips gemeinsam an einem Modell arbeiten, müssen sie extrem schnell miteinander sprechen. Dafür sind sie über spezielle Netzwerkkabel verbunden, die deutlich mehr Daten übertragen als ein normales Internetkabel. Man kann sich das wie ein Team vorstellen, das an einer einzigen langen Rechnung sitzt. Ist die Verbindung zu langsam, warten die schnellsten Mitglieder ständig auf die anderen.

Das größte praktische Problem ist die Energie. Colossus benötigt mehrere hundert Megawatt Leistung, also die Größenordnung eines mittleren Kraftwerks. Weil das öffentliche Stromnetz das nicht sofort liefern konnte, stellte xAI zusätzlich Gasturbinen auf das Gelände. Dagegen gab es Proteste von Anwohnern und Umweltverbänden, weil die Turbinen Schadstoffe ausstoßen. Ein weiterer Punkt ist die Kühlung: Die Chips erzeugen so viel Wärme, dass Luft nicht mehr reicht und Wasser direkt durch die Racks geleitet wird.

Colossus in den Nachrichten

Direkt benutzen kann man Colossus nicht. Man begegnet der Anlage aber indirekt, sobald man mit Grok schreibt, dem Chatprogramm von xAI. Auch die Bild- und Videofunktionen dieser Modelle entstanden auf diesen Maschinen. Was in Memphis gerechnet wird, landet also in der App auf dem Handy.

In Wirtschaftsmeldungen taucht der Name meist in zwei Zusammenhängen auf. Erstens bei Finanzierungsrunden: xAI sammelt regelmäßig Milliardenbeträge ein, und ein großer Teil davon fließt direkt in Chips und Strom. Zweitens bei Nvidia, dessen Umsatz stark von solchen Großabnehmern abhängt. Colossus wird dabei oft mit ähnlichen Projekten verglichen, etwa dem Stargate-Vorhaben von OpenAI.

Ein häufiger Irrtum ist, Colossus sei ein einzelner Supercomputer wie in alten Filmen. Tatsächlich handelt es sich um sehr viele einzelne Server in Schränken, die als Verbund arbeiten. Der Fachbegriff dafür lautet Cluster. Ausfallende Teile werden im laufenden Betrieb getauscht, ohne dass die Anlage stillsteht.