TensorRT

Ein KI-Modell ist im Kern eine sehr lange Rechenvorschrift mit Milliarden Zahlen darin. Diese Rechnung läuft meist auf einer Grafikkarte, also einem Spezialchip, der viele Rechenschritte gleichzeitig ausführt. TensorRT ist ein Programmpaket der Chipfirma Nvidia, das eine solche fertige Rechenvorschrift für ihre Grafikkarten umbaut. Es ordnet die Rechenschritte neu an, fasst sie zusammen und wählt für jeden Schritt das schnellste bekannte Verfahren. Das Ergebnis liefert praktisch dieselben Antworten wie vorher, braucht dafür aber deutlich weniger Zeit und Strom. TensorRT hilft also nicht beim Lernen eines Modells, sondern erst danach, beim täglichen Benutzen.

Warum Betreiber um jede Millisekunde kämpfen

Das Lernen eines großen Modells passiert einmal und kostet viel Geld. Das Benutzen passiert danach millionenfach. Fachleute nennen diesen Benutzungsschritt Inferenz: Frage rein, Rechnung, Antwort raus. Wer einen Chatbot mit vielen Nutzern betreibt, zahlt für jede einzelne Antwort Rechenzeit. Wird eine Antwort um ein Drittel schneller berechnet, sinkt die Rechnung entsprechend.

Dazu kommt die Geduld der Nutzer. Eine Suchanfrage, die drei Sekunden hängt, fühlt sich kaputt an. Bei einem Assistenzsystem im Auto oder einer Kamera, die Personen erkennt, geht es sogar um Sicherheit. Solche Systeme müssen in festen Zeitfenstern antworten, sonst sind sie nutzlos.

Ein zweiter Grund ist Hardware-Knappheit. Leistungsfähige Grafikkarten sind teuer und oft schwer zu bekommen. Wenn ein optimiertes Modell doppelt so viele Anfragen pro Karte schafft, braucht ein Anbieter halb so viele Karten. Deshalb gehört Optimierungssoftware wie TensorRT zu den wirtschaftlich wichtigsten und unauffälligsten Teilen der KI-Branche.

Was beim Umbau des Modells passiert

TensorRT nimmt ein trainiertes Modell und erzeugt daraus ein sogenanntes Engine-Paket, das genau auf einen bestimmten Chiptyp zugeschnitten ist. Ein wichtiger Trick heißt Layer-Fusion. Viele kleine Rechenschritte werden zu einem größeren verschmolzen. Das spart Wege zwischen Rechenwerk und Speicher, und diese Wege kosten oft mehr Zeit als das Rechnen selbst.

Der zweite große Trick ist Quantisierung. Normalerweise speichert ein Modell seine Zahlen sehr genau, etwa mit 32 Bit pro Zahl. TensorRT rechnet stattdessen mit 16 oder 8 Bit, manchmal noch grober. Man kann sich das wie das Runden von Preisen auf ganze Euro vorstellen: die Rechnung wird schneller, das Ergebnis bleibt fast gleich. Nur bei zu grobem Runden fängt die Qualität an zu leiden, deshalb prüft man jedes Modell nach dem Umbau nach.

Zusätzlich probiert TensorRT für jede Rechenoperation mehrere Umsetzungen aus und misst, welche auf der vorhandenen Karte am schnellsten läuft. Dieses Ausmessen dauert Minuten bis Stunden, passiert aber nur einmal. Der Preis dafür ist Unflexibilität: Ein Engine-Paket für eine Kartengeneration läuft auf einer anderen oft nicht optimal oder gar nicht. Und es funktioniert ausschließlich auf Nvidia-Hardware, was Anbieter an diesen Hersteller bindet.

TensorRT in Produkten und Schlagzeilen

Sichtbar wird TensorRT selten, weil es unter der Oberfläche arbeitet. Es steckt in Sprachassistenten, in Übersetzungsdiensten, in medizinischer Bildauswertung und in Fahrassistenzsystemen. Auch Bildgeneratoren auf dem eigenen PC nutzen es, um aus einem Textbefehl in wenigen Sekunden ein Bild zu erzeugen. Für große Sprachmodelle gibt es eine eigene Variante namens TensorRT-LLM.

In den Wirtschaftsnachrichten taucht der Name auf, wenn es um Nvidias Marktstellung geht. Der Konzern verkauft nicht nur Chips, sondern auch das Software-Umfeld dazu. Diese Kombination macht einen Wechsel zu Konkurrenzchips aufwendig, weil viel Optimierungsarbeit neu geleistet werden müsste. Analysten sehen darin einen wesentlichen Teil des Vorsprungs, den Nvidia im KI-Geschäft hält.

Ein häufiger Irrtum ist, TensorRT sei ein KI-Modell oder ein Konkurrent zu Systemen wie ChatGPT. Es ist weder das eine noch das andere. Man kann es eher mit einem Werkzeug vergleichen, das einen fertigen Motor auf eine bestimmte Rennstrecke abstimmt. Der Motor bleibt derselbe, er läuft nur runder.