Language Processing Unit
Eine Language Processing Unit (LPU) ist ein Spezialchip, der ausschließlich dafür gebaut ist, fertige Sprach-KI-Modelle Wort für Wort antworten zu lassen. Sie soll Texte deutlich schneller ausgeben als die üblichen Grafikkarten, kann dafür aber weniger andere Aufgaben.
Programme wie ChatGPT schreiben ihre Antworten Wort für Wort. Jedes einzelne Wort kostet Rechenarbeit, und diese Arbeit übernehmen bislang meist Grafikkarten. Eine Language Processing Unit ist ein Computerchip, der nur für genau diese Aufgabe gebaut wurde: Text erzeugen. Sie soll das schneller und mit weniger Strom schaffen als eine Grafikkarte, die ursprünglich für Bilder und Spiele entwickelt wurde. Bekannt wurde der Begriff durch das US-Unternehmen Groq, das den Namen für seine eigenen Chips geprägt hat. Andere Hersteller nennen ähnliche Spezialchips anders, etwa Inferenzbeschleuniger.
Warum Tempo beim Antworten Geld wert ist
Wer ein Sprachmodell betreibt, zahlt für jede einzelne Antwort. Die Rechnung entsteht nicht beim Lernen des Modells, sondern im täglichen Betrieb. Fachleute nennen diesen Betrieb Inferenz: das fertige Modell wird benutzt, nicht mehr trainiert. Millionen Anfragen pro Tag summieren sich zu erheblichen Stromkosten und Hardwarekosten.
Dazu kommt der Eindruck beim Nutzer. Ein Chatbot, der Wörter im Sekundentakt herausspuckt, fühlt sich zäh an. Erscheinen die Wörter schneller, als man lesen kann, wirkt das Gespräch flüssig. LPUs werben mit mehreren hundert Wörtern pro Sekunde bei mittelgroßen Modellen, wo Grafikkarten oft deutlich langsamer sind.
Wichtig ist der Vergleich mit dem Grafikkarten-Marktführer Nvidia. Dessen Chips können fast alles: trainieren, Bilder erzeugen, Texte schreiben. LPUs verzichten auf diese Vielseitigkeit und wollen dafür in ihrer einen Disziplin gewinnen. Ob das langfristig aufgeht, ist eine der spannenderen Wetten in der Chipbranche.
Der Fließband-Trick im Chip
Der Engpass beim Texterzeugen ist selten das Rechnen selbst. Es ist das Warten auf Zahlen aus dem Speicher. Ein Sprachmodell besteht aus Milliarden gespeicherter Zahlenwerte, den Parametern. Für jedes neue Wort müssen viele davon herangeholt werden. Eine Grafikkarte holt sie aus einem großen externen Speicherbaustein, und dieser Weg kostet Zeit.
LPUs gehen einen anderen Weg. Sie packen sehr viel schnellen Speicher direkt auf den Chip, neben die Recheneinheiten. Der Weg wird kürzer, das Warten kürzer. Der Preis dafür: Der Speicher auf dem Chip ist klein. Ein großes Modell passt nicht auf einen einzigen LPU-Chip, man muss viele davon zusammenschalten.
Hinzu kommt eine strenge Zeitplanung. Bei einer Grafikkarte entscheidet die Hardware während des Betriebs, welche Aufgabe wann läuft. Bei einer LPU legt eine Software das schon vorher fest, Takt für Takt. Man kann sich das wie ein Fließband vorstellen, dessen Ablaufplan bis auf die Sekunde festgeschrieben ist. Das läuft sehr gleichmäßig und ohne Leerlauf, verzeiht aber kaum Abweichungen vom Plan.
LPUs in Cloud-Diensten und Börsenmeldungen
Direkt kaufen wird man eine LPU als Privatperson kaum. Man begegnet ihr über das Internet: Anbieter stellen ihre Chips in Rechenzentren und verkaufen den Zugriff darauf. Entwickler schicken ihre Anfragen dorthin und bekommen Antworten zurück, ohne die Hardware zu sehen. Einige Chat-Dienste und Sprachassistenten wirken deshalb auffällig flott.
In den Wirtschaftsnachrichten tauchen LPUs vor allem als Konkurrenz zu Nvidia auf. Firmen wie Groq oder Cerebras sammeln Milliardenbeträge von Investoren ein, mit dem Versprechen, günstigere Inferenz anzubieten. Auch Google, Amazon und Microsoft bauen eigene Spezialchips, nutzen aber andere Namen dafür.
Ein häufiger Irrtum: LPU ist keine geschützte Kategorie wie CPU oder GPU. Es ist ein Marketingbegriff eines einzelnen Herstellers, der sich verbreitet hat. Wer in einer Meldung von LPUs liest, sollte deshalb nachsehen, welche Zahlen genau gemessen wurden. Tempoangaben gelten oft nur für ein bestimmtes Modell und eine bestimmte Anfragelänge.