TensorRT-LLM

Programme wie ChatGPT beruhen auf riesigen Rechenmodellen, die Texte Wort für Wort erzeugen. Diese Modelle laufen nicht auf normalen Prozessoren, sondern auf Grafikkarten, weil die sehr viele Rechnungen gleichzeitig erledigen können. Damit ein Modell auf einer bestimmten Grafikkarte wirklich schnell läuft, muss man seine Rechenschritte an genau diese Hardware anpassen. Genau dafür gibt es TensorRT-LLM, eine frei verfügbare Software der Firma Nvidia. Sie nimmt ein fertig trainiertes Sprachmodell entgegen und baut daraus eine für Nvidia-Grafikkarten optimierte Fassung. Das Modell kann danach nicht mehr, es antwortet nur schneller und braucht weniger Strom.

Warum Antwortgeschwindigkeit über Kosten entscheidet

Ein Sprachmodell wird einmal trainiert, aber millionenfach benutzt. Jede einzelne Antwort kostet Rechenzeit auf teurer Hardware. Diese Benutzungsphase nennt man Inferenz. Wer einen Chatbot mit vielen Nutzern betreibt, gibt für die Inferenz auf Dauer deutlich mehr Geld aus als für das Training.

Deshalb ist jede Beschleunigung direkt Geld wert. Wenn eine Grafikkarte durch bessere Software doppelt so viele Anfragen pro Sekunde schafft, braucht ein Anbieter nur halb so viele Karten. Bei Preisen von mehreren zehntausend Euro pro Rechenzentrums-Grafikkarte ist das ein enormer Unterschied. Genau mit solchen Zahlen wirbt Nvidia für TensorRT-LLM.

Für Nvidia hat die Software noch einen zweiten Zweck. Sie funktioniert nur mit Nvidia-Hardware. Wer seine Systeme darauf aufbaut, kann nicht ohne Weiteres zu Chips von AMD oder anderen Anbietern wechseln. Diese Bindung durch Software gilt als ein wichtiger Grund für Nvidias starke Marktstellung.

Vom Modell zur optimierten Rechen-Engine

TensorRT-LLM arbeitet wie ein Übersetzer mit Umbauauftrag. Man gibt ihm ein trainiertes Modell, etwa Llama oder Mistral. Heraus kommt eine sogenannte Engine, eine Datei mit fertig zugeschnittenen Rechenanweisungen für eine bestimmte Grafikkarte. Dieser Umbau dauert einige Minuten und passiert nur einmal vor dem Betrieb.

Beim Umbau greifen mehrere Tricks ineinander. Einer heißt Quantisierung: Zahlen im Modell werden gröber gespeichert, etwa mit 8 statt 16 Stellen Genauigkeit. Das spart Speicher und Rechenzeit, kostet aber ein wenig Qualität. Ein anderer Trick fasst viele kleine Rechenschritte zu einem großen zusammen, damit die Grafikkarte weniger oft Daten hin- und herschieben muss.

Wichtig ist außerdem, wie mehrere Nutzeranfragen gleichzeitig bedient werden. TensorRT-LLM verwendet ein Verfahren, bei dem fertige Anfragen sofort durch neue ersetzt werden, statt auf die langsamste in der Gruppe zu warten. Man kann sich das wie eine Supermarktkasse vorstellen, an der sofort der Nächste vorrückt. So bleibt die Grafikkarte durchgehend ausgelastet.

Wo die Software im Hintergrund steckt

Als normaler Nutzer sieht man TensorRT-LLM nie. Sie läuft in Rechenzentren hinter Chatbots, Übersetzungsdiensten und Programmierassistenten. Wenn eine Antwort flüssig Wort für Wort erscheint, statt zäh zu stocken, steckt oft solche Optimierungssoftware dahinter.

In Wirtschaftsnachrichten taucht der Name meist im Zusammenhang mit Nvidias Geschäftszahlen auf. Analysten betonen dann, dass Nvidia nicht nur Chips verkauft, sondern ein ganzes Software-Ökosystem darum herum. Konkurrenten wie AMD müssen nicht nur schnellere Hardware bauen, sondern auch vergleichbare Software liefern. Bisher gelingt ihnen das nur teilweise.

Eine häufige Verwechslung betrifft ähnliche Werkzeuge. vLLM ist eine offene Alternative, die auch auf anderer Hardware läuft. Ollama richtet sich an Privatleute, die ein Modell auf dem eigenen Rechner ausprobieren wollen. TensorRT-LLM zielt dagegen auf den professionellen Dauerbetrieb, bei dem jedes Prozent Geschwindigkeit zählt.