Megakernel

Grafikkarten rechnen KI-Modelle aus, weil sie sehr viele einfache Rechnungen gleichzeitig ausführen können. Damit eine Grafikkarte etwas tut, schickt ihr der normale Computer ein kleines Programm, das jeweils eine einzelne Aufgabe erledigt. Ein solches Programm heißt Kernel, und eine KI-Antwort besteht normalerweise aus hunderten oder tausenden solcher Aufrufe hintereinander. Ein Megakernel fasst diese vielen kleinen Programme zu einem einzigen großen zusammen. Die Grafikkarte wird also einmal gestartet und arbeitet dann die gesamte Kette selbstständig durch. Der Name ist wörtlich gemeint: ein Kernel, der ungewöhnlich viel auf einmal enthält.

Warum die Pausen zwischen den Rechenschritten teuer sind

Jeder Kernel-Start kostet Zeit. Die Grafikkarte muss die Aufgabe annehmen, ihre Rechenwerke besetzen, rechnen, das Ergebnis wegschreiben und danach warten, bis der nächste Auftrag kommt. Einzeln betrachtet sind das nur Mikrosekunden. Bei tausenden Aufrufen pro Antwort summiert sich das aber zu einem messbaren Anteil der Gesamtzeit.

Besonders schmerzhaft ist das, wenn ein Sprachmodell Wort für Wort antwortet. Für jedes einzelne Wort läuft die komplette Kette einmal durch. Die Rechenarbeit pro Wort ist dabei klein, die Zahl der Startvorgänge aber gleich groß. Genau in dieser Situation kann die Grafikkarte einen erheblichen Teil der Zeit im Leerlauf verbringen, obwohl ihre Rechenwerke frei wären.

Für Firmen, die KI-Dienste betreiben, ist das direkt Geld. Eine Grafikkarte kostet pro Stunde dasselbe, ob sie rechnet oder wartet. Veröffentlichte Messungen zu Megakernel-Umbauten berichten je nach Modell und Hardware Beschleunigungen von wenigen Prozent bis zu deutlich über zwanzig Prozent. Dieselbe Antwort kommt schneller, und mit derselben Hardware lassen sich mehr Nutzer bedienen.

Wie eine ganze Rechenkette in ein Programm passt

Ein Megakernel wird einmal auf der Grafikkarte gestartet und bleibt dann laufen. Innerhalb dieses Programms steht kein starrer Ablauf, sondern eine Art Arbeitsliste. Die Rechenkerne holen sich Aufgaben aus dieser Liste, erledigen sie und greifen nach der nächsten. Man kann sich das wie eine Werkstatt vorstellen, in der Aufträge an einer Tafel hängen, statt dass ein Chef jeden Handgriff einzeln zuweist.

Der schwierige Teil ist die Reihenfolge. Manche Aufgaben brauchen das Ergebnis einer früheren Aufgabe. Der Megakernel muss also selbst dafür sorgen, dass niemand zu früh weiterrechnet. Dafür gibt es Zähler und Signale im Speicher, an denen ein Rechenkern ablesen kann, ob seine Vorarbeit fertig ist. Vorher übernahm diese Kontrolle der Hauptprozessor zwischen den Kernel-Aufrufen.

Ein Nebeneffekt ist die Speichernutzung. Weil alles in einem Programm bleibt, können Zwischenergebnisse in den schnellen Speicherbereichen direkt auf dem Chip liegen bleiben. Sonst müssten sie in den langsameren Hauptspeicher der Grafikkarte geschrieben und gleich wieder gelesen werden. Der Preis dafür ist Komplexität: Ein Megakernel ist schwer zu programmieren, schwer zu testen und meist auf ein bestimmtes Modell und einen bestimmten Grafikkartentyp zugeschnitten.

Megakernels in Chatbots und in Tech-Meldungen

Direkt sichtbar ist ein Megakernel nie. Man merkt ihn nur daran, dass ein Chatbot den ersten Satz schneller ausgibt oder der Text flüssiger erscheint. Die Technik steckt in der Software, die zwischen dem KI-Modell und der Hardware sitzt. Solche Programme heißen Inferenz-Engines, weil Inferenz die Phase bezeichnet, in der ein fertiges Modell benutzt wird.

In Fachmeldungen tauchte der Begriff ab 2025 häufiger auf. Forschungsgruppen und Anbieter von Beschleunigungssoftware stellten Megakernel-Varianten für gängige Sprachmodelle vor, teils als offener Quellcode. Wer solche Ankündigungen liest, sollte auf die Bedingungen achten: Die genannten Gewinne gelten oft für kleine Anfragezahlen und eine einzelne Grafikkarte, nicht für jeden Betriebsfall.

Wirtschaftlich gehört der Megakernel in dieselbe Kategorie wie andere Optimierungen der Betriebsphase. Solche Verfahren machen ein Modell nicht klüger, sondern billiger. Für Anleger ist das relevant, weil es beeinflusst, wie viele teure Rechenzentrums-Chips ein Anbieter für dieselbe Nutzerzahl kaufen muss.