Wafer Scale Engine

Computerchips werden aus runden Scheiben aus Silizium hergestellt, sogenannten Wafern. Normalerweise sägt man eine solche Scheibe am Ende in hunderte kleine rechteckige Chips. Die Firma Cerebras macht genau das nicht. Sie lässt die Scheibe fast vollständig zusammen und verkauft sie als einen einzigen, gewaltigen Chip. Dieses Bauteil heißt Wafer Scale Engine, und es ist etwa so groß wie ein Essteller. Zum Vergleich: ein üblicher Prozessor aus einem Rechenzentrum ist kaum größer als eine Streichholzschachtel.

Warum ein Teller besser ist als 80 Postkarten

Moderne KI-Systeme rechnen nicht auf einem einzigen Chip. Für das Training eines großen Sprachmodells arbeiten oft tausende Chips gleichzeitig. Diese Chips müssen ständig Zwischenergebnisse austauschen. Genau dieser Austausch ist das eigentliche Nadelöhr.

Daten innerhalb eines Chips zu bewegen ist extrem schnell und braucht wenig Strom. Daten von einem Chip zum nächsten zu schicken, kostet dagegen ein Vielfaches an Zeit und Energie. Man kann sich das wie ein Gespräch vorstellen: Zwei Leute im selben Raum reden mühelos miteinander. Sitzen sie in verschiedenen Gebäuden, braucht jede Frage einen Anruf.

Die Wafer Scale Engine drückt diesen Aufwand nach unten, indem sie eine Aufgabe, für die sonst dutzende Chips nötig wären, auf einem einzigen Stück Silizium erledigt. Die aktuelle Generation trägt rund vier Billionen Transistoren und etwa 900.000 kleine Rechenkerne. Ein starker Grafikchip aus dem Rechenzentrum kommt auf einige zehntausend Kerne. Der Größenunterschied ist also kein Detail, sondern der ganze Punkt.

Der Trick mit den kaputten Stellen

Bei der Chipherstellung entstehen immer Fehler. Staubkörner und winzige Unregelmäßigkeiten machen einzelne Stellen des Wafers unbrauchbar. Bei normalen Chips ist das kein Drama: Man wirft die betroffenen kleinen Chips weg und verkauft den Rest. Bei einem Chip, der die ganze Scheibe einnimmt, würde ein einziger Defekt das komplette Produkt vernichten.

Deshalb baut Cerebras von vornherein Ersatz ein. Der Chip enthält mehr Rechenkerne, als er braucht. Fällt ein Kern aus, wird er stillgelegt, und die Verbindungen werden um ihn herumgeleitet. Das funktioniert ähnlich wie eine Umleitung im Straßenverkehr: Die Strecke ist gesperrt, der Verkehr fließt trotzdem weiter.

Ein zweites Problem ist die Wärme. Ein so großer Chip verbraucht mehrere zehn Kilowatt, also etwa so viel wie einige Dutzend Wasserkocher. Deshalb steckt die Wafer Scale Engine in einem eigenen Gehäuse mit Flüssigkeitskühlung. Der Speicher für die Modelldaten sitzt teils direkt auf dem Chip, teils in externen Einheiten, die über sehr breite Leitungen angebunden sind.

Cerebras gegen Nvidia in den Schlagzeilen

In Wirtschaftsnachrichten taucht der Begriff fast immer im selben Zusammenhang auf: als Gegenentwurf zur Marktmacht von Nvidia. Nvidia liefert die Grafikchips, auf denen der größte Teil der KI-Welt rechnet. Cerebras ist einer der wenigen Herausforderer mit einer wirklich anderen technischen Idee. Der Börsengang des Unternehmens und Großaufträge aus dem Nahen Osten waren deshalb ausführlich Thema.

Kaufen kann man so ein System praktisch nur als Forschungseinrichtung, Konzern oder Rechenzentrumsbetreiber. Der Preis liegt im Millionenbereich. Wer die Technik trotzdem ausprobieren will, mietet Rechenzeit über die Cloud-Dienste von Cerebras. Einige Chatbots und Programmierhilfen antworten dort auffällig schnell, weil die Modelle auf Wafer-Scale-Hardware laufen.

Ein verbreiteter Irrtum ist, die Wafer Scale Engine sei einfach ein besonders schneller Prozessor für alles. Das stimmt nicht. Sie ist auf eine bestimmte Art von Rechnung zugeschnitten, wie sie in neuronalen Netzen vorkommt. Für gewöhnliche Programme auf einem Bürorechner wäre sie ungeeignet – und mit Flüssigkeitskühlung und Tellerformat ohnehin nicht praktikabel.