Kernel-Tuning

Künstliche Intelligenz besteht im Kern aus sehr vielen sehr einfachen Rechenschritten. Diese Schritte laufen fast immer auf Grafikkarten, also auf Chips, die tausende Zahlen gleichzeitig verarbeiten können. Damit ein Chip weiß, was er tun soll, braucht er ein kurzes Programm für genau eine Rechenaufgabe. Ein solches Programm nennt man Kernel, etwa für « multipliziere diese beiden Zahlentabellen ». Kernel-Tuning heißt, ein solches Programm so lange umzuschreiben und einzustellen, bis es auf einem bestimmten Chip möglichst schnell läuft. Die Rechnung selbst bleibt dabei unverändert, nur der Weg dorthin wird effizienter.

Warum eine Zeile Code Millionen kosten kann

Große Sprachmodelle verbringen fast ihre gesamte Rechenzeit in einer Handvoll immer gleicher Kernel. Matrixmultiplikationen und die sogenannte Attention machen zusammen oft über 90 Prozent aus. Wer diese wenigen Programme um 30 Prozent beschleunigt, beschleunigt praktisch das gesamte System. Umgekehrt bringt es kaum etwas, den restlichen Code zu polieren.

Das schlägt direkt auf die Kosten durch. Ein Rechenzentrum mit zehntausend Grafikkarten verbrennt Strom und Mietkosten in Millionenhöhe pro Monat. Läuft der zentrale Kernel ein Drittel schneller, braucht man ein Drittel weniger Karten für dieselbe Arbeit. Deshalb beschäftigen KI-Firmen Spezialisten, die monatelang an einzelnen Programmen dieser Art feilen.

Ein bekanntes Beispiel ist FlashAttention. Dieser getunte Kernel rechnet die Attention nicht anders, sondern nur geschickter im Speicher. Das Ergebnis war je nach Fall eine mehrfache Beschleunigung und deutlich geringerer Speicherbedarf. Damit wurden längere Eingabetexte überhaupt erst bezahlbar.

Was beim Feilen an einem Kernel eingestellt wird

Der wichtigste Hebel ist der Speicher, nicht das Rechnen. Eine Grafikkarte rechnet extrem schnell, holt Daten aus ihrem Hauptspeicher aber vergleichsweise langsam. Direkt am Rechenwerk sitzt ein winziger, sehr schneller Zwischenspeicher. Gutes Tuning sorgt dafür, dass Daten einmal dorthin geladen und dann mehrfach benutzt werden. Man kann es sich vorstellen wie Kochen: Wer alle Zutaten einmal auf die Arbeitsfläche holt, ist schneller als jemand, der für jede Zutat neu in den Keller läuft.

Dazu kommen konkrete Stellschrauben. Wie groß sind die Datenblöcke, die auf einmal bearbeitet werden? Wie viele Rechenfäden laufen parallel? Wird die nächste Datenportion schon geladen, während noch gerechnet wird? Für jede dieser Fragen gibt es Dutzende plausible Antworten.

Weil sich die Kombinationen zu tausenden Varianten multiplizieren, testet man sie oft automatisch durch. Dieses Verfahren heißt Autotuning: Ein Programm misst jede Variante und behält die schnellste. Wichtig ist, dass das Ergebnis nur für eine bestimmte Hardware gilt. Ein Kernel, der auf einer Nvidia H100 optimal ist, kann auf einer älteren Karte oder einem AMD-Chip mittelmäßig sein.

Kernel-Tuning in News und in der eigenen Nutzung

In Meldungen taucht das Thema meist versteckt auf. Wenn eine Firma verkündet, ihr Modell sei bei gleicher Qualität plötzlich viel billiger geworden, steckt oft kein neues Modell dahinter, sondern optimierter Code. Auch DeepSeek erregte Aufsehen, weil das Team sehr hardwarenah programmierte statt nur fertige Bibliotheken zu nutzen.

Wirtschaftlich ist Kernel-Tuning ein Grund für Nvidias starke Stellung. Über Jahre wurden die besten Kernel für Nvidias Programmierumgebung CUDA geschrieben. Konkurrenten haben vergleichbare Chips, aber weniger fertig optimierte Software. Genau diese Lücke versuchen Projekte wie Triton zu schließen, mit denen sich Kernel einfacher und hardwareunabhängiger schreiben lassen.

Selbst programmieren muss man das als Nutzer nie. Man profitiert trotzdem davon, jedes Mal wenn ein Chatbot schneller antwortet oder ein Anbieter seine Preise senkt. Ein verbreiteter Irrtum ist, Kernel-Tuning mache ein Modell schlauer. Es ändert nichts an den Antworten, sondern nur an Tempo, Stromverbrauch und Kosten.