CUDA

Eine Grafikkarte war ursprünglich nur für Bilder gedacht: für Spiele, Videos, 3D-Darstellungen. Sie kann aber vor allem eines sehr gut, nämlich tausende einfache Rechnungen gleichzeitig ausführen. CUDA ist eine Sammlung von Programmen und Werkzeugen der Firma Nvidia, die genau diese Fähigkeit für beliebige Rechenaufgaben öffnet. Der Name steht für Compute Unified Device Architecture, doch die Langform sagt kaum etwas aus und wird selbst in der Branche fast nie benutzt. Wichtig ist: Mit CUDA schreibt ein Entwickler Code, der nicht auf dem normalen Hauptprozessor eines Computers läuft, sondern auf der Grafikkarte. Nvidia stellte CUDA 2007 vor, lange bevor der heutige KI-Boom begann.

Warum Nvidia damit den KI-Markt besitzt

Moderne KI-Modelle bestehen im Kern aus riesigen Zahlentabellen, die miteinander multipliziert werden. Genau diese Art Rechnung lässt sich gut in tausende kleine Teilaufgaben zerlegen. Eine Grafikkarte erledigt das je nach Aufgabe zehn- bis hundertmal schneller als ein Hauptprozessor. Ohne diesen Geschwindigkeitssprung wäre das Training heutiger Sprachmodelle praktisch unmöglich.

Der eigentliche Vorteil von Nvidia liegt aber nicht in der Hardware allein. Über fast zwei Jahrzehnte hat sich um CUDA ein gewaltiges Ökosystem gebildet. Fast jedes KI-Werkzeug, das Forscher benutzen, setzt CUDA voraus. Wer eine Grafikkarte eines anderen Herstellers kauft, muss oft Software neu anpassen oder auf Bibliotheken verzichten.

Wirtschaftlich nennt man so etwas einen Burggraben: einen Vorsprung, den Konkurrenten nur schwer aufholen können. AMD und Intel bauen durchaus konkurrenzfähige Chips. Ihre Software-Umgebungen gelten aber als weniger ausgereift. Das erklärt einen großen Teil von Nvidias Börsenwert, der 2024 erstmals die Marke von drei Billionen Dollar überschritt.

Was beim Rechnen auf der Grafikkarte passiert

CUDA besteht aus drei Teilen. Erstens einer Erweiterung der Programmiersprache C, mit der man Grafikkarten-Code schreibt. Zweitens einem Treiber, der diesen Code zur Karte schickt. Drittens fertigen Bibliotheken für häufige Aufgaben wie Matrixmultiplikation oder Bildverarbeitung.

Ein Entwickler schreibt eine kleine Funktion, im CUDA-Jargon Kernel genannt. Diese Funktion wird nicht einmal ausgeführt, sondern tausendfach parallel. Jede Kopie bearbeitet einen anderen Datenpunkt, etwa ein einzelnes Pixel oder eine Zahl in einer Tabelle. Die Grafikkarte verteilt diese Kopien selbst auf ihre Recheneinheiten, die sogenannten CUDA-Kerne. Eine aktuelle Karte besitzt davon mehrere tausend, ein Hauptprozessor hat acht bis sechzehn Kerne.

Der übliche Irrtum: Grafikkarten sind nicht generell schneller. Bei einer einzelnen langen Rechenkette, bei der jeder Schritt auf dem vorigen aufbaut, ist ein Hauptprozessor überlegen. Der Vorteil entsteht nur, wenn viele gleichartige Rechnungen unabhängig voneinander möglich sind. Ein zweiter Stolperstein ist der Datentransfer, denn das Kopieren zwischen Hauptspeicher und Grafikkartenspeicher kostet Zeit.

Wo der Name in News und Produkten auftaucht

Direkt sichtbar ist CUDA selten, denn kaum jemand programmiert damit von Hand. Stattdessen nutzen Entwickler Werkzeuge wie PyTorch oder TensorFlow, also fertige Programmbaukästen für KI. Diese greifen im Hintergrund auf CUDA zu. Wer versucht, ein KI-Modell auf dem eigenen Rechner laufen zu lassen, stößt aber schnell auf Fehlermeldungen zu fehlenden CUDA-Versionen.

In Wirtschaftsnachrichten fällt der Begriff meist im Zusammenhang mit Nvidias Marktmacht. Wenn über Alternativen zu Nvidia berichtet wird, geht es fast immer um die Frage, ob eine Konkurrenz-Software an CUDA herankommt. AMDs Gegenstück heißt ROCm, ein offener Ansatz mehrerer Firmen heißt OpenCL.

Auch in der Politik spielt CUDA eine Rolle. Exportbeschränkungen für KI-Chips nach China treffen nicht nur die Hardware, sondern auch den Zugang zu dieser Software-Umgebung. Und wer Cloud-Rechenzeit bei Amazon, Google oder Microsoft mietet, bezahlt in der Regel Maschinen mit Nvidia-Karten und vorinstalliertem CUDA.