Inference-Chip

Ein KI-System wie ein Chatbot durchläuft zwei sehr verschiedene Phasen. Zuerst lernt es aus riesigen Datenmengen, was Wochen dauern kann und nur einmal passiert. Danach wird es benutzt: Jemand tippt eine Frage ein, das System rechnet, eine Antwort erscheint. Diese zweite Phase heißt Inferenz, also die Anwendung des fertigen Modells. Ein Inference-Chip ist ein Computerchip, der genau für diese zweite Phase gebaut ist. Er soll eine einzelne Antwort so schnell und mit so wenig Strom wie möglich berechnen.

Warum die Rechnung erst im Betrieb teuer wird

Das Lernen eines großen Modells ist eine einmalige Investition. Die Anwendung dagegen läuft dauerhaft, jeden Tag, für jede einzelne Anfrage. Wenn ein Dienst hundert Millionen Nutzer hat, entstehen Kosten bei jeder Antwort neu. Genau deshalb machen die Anwendungskosten bei vielen Unternehmen inzwischen den größeren Teil der Rechnung aus.

Ein zweiter Punkt ist der Strom. Rechenzentren für KI verbrauchen so viel Energie wie kleine Städte. Ein Chip, der pro Antwort dreißig Prozent weniger Strom braucht, spart Millionen und entlastet das Netz. Deshalb messen Hersteller ihre Chips heute nicht nur in Rechenleistung, sondern in Leistung pro Watt.

Dazu kommt die Wartezeit. Bei der Anwendung sitzt ein Mensch davor und wartet auf die Antwort. Zwei Sekunden Verzögerung fallen sofort auf, beim Lernen dagegen wäre eine Sekunde völlig egal. Inference-Chips sind deshalb auf kurze Reaktionszeiten optimiert, nicht nur auf hohen Durchsatz.

Was diese Chips anders machen als Trainingshardware

Im Kern rechnen KI-Modelle immer dasselbe: sehr viele Multiplikationen und Additionen von Zahlen in großen Tabellen. Ein Inference-Chip enthält tausende einfache Recheneinheiten, die diese eine Aufgabe parallel erledigen. Alles, was ein normaler Prozessor sonst noch kann, fehlt bewusst. Der Vergleich passt zu einer Werkstatt: Ein Universalprozessor ist der Schweizer Taschenmesser, ein Inference-Chip die Spezialmaschine, die nur einen Handgriff macht, den aber millionenfach.

Der zweite große Unterschied liegt in der Genauigkeit der Zahlen. Beim Lernen braucht ein Modell feine Zwischenschritte, deshalb rechnet man dort mit langen, präzisen Zahlen. Bei der Anwendung reichen gröbere Zahlen fast immer aus. Man nennt das Quantisierung: Statt sechzehn Stellen speichert der Chip nur acht oder sogar vier. Das halbiert oder viertelt den Speicherbedarf und beschleunigt die Rechnung erheblich.

Ein häufiger Irrtum ist, dass die reine Rechenleistung entscheidet. In Wirklichkeit ist meist der Speicher der Engpass. Die Werte des Modells müssen ständig aus dem Speicher zu den Recheneinheiten wandern. Deshalb bauen Hersteller den Speicher heute direkt neben oder auf den Chip, damit die Wege kurz bleiben.

Vom Rechenzentrum bis ins Handy

Die bekanntesten Vertreter stehen in Rechenzentren. Google baut dafür seit Jahren eigene Chips namens TPU, Amazon nutzt eine Reihe mit dem Namen Inferentia. Nvidia dominiert zwar den Markt für Trainingshardware, verkauft aber ebenfalls Chips, die vor allem für die Anwendung gedacht sind. Start-ups wie Groq oder Cerebras greifen genau diesen Markt an, weil hier das größere Wachstum erwartet wird.

Der zweite Ort ist das eigene Gerät. In fast jedem neueren Smartphone sitzt eine kleine Einheit für KI-Berechnungen, oft NPU genannt. Sie erkennt Gesichter in der Fotogalerie, übersetzt Text ohne Internet oder filtert Hintergrundgeräusche im Videoanruf. Das ist Inferenz im Kleinen, direkt in der Hosentasche.

In Wirtschaftsnachrichten tauchen Inference-Chips deshalb regelmäßig auf. Wenn ein Konzern ankündigt, eigene Chips zu entwickeln, geht es meist darum, unabhängiger von Nvidia zu werden und die laufenden Kosten zu drücken. Für Anleger ist dabei interessant, dass der Markt für Anwendung langfristig größer sein dürfte als der für Training.