vLLM

Ein Sprachmodell ist ein Programm, das Texte Wort für Wort erzeugt. Damit es das tut, muss es auf leistungsfähigen Rechenchips laufen, meist auf Grafikkarten. Genau dafür ist vLLM da: eine kostenlos nutzbare Software, die das fertige Modell entgegennimmt und die Anfragen vieler Nutzer gleichzeitig abarbeitet. Sie sorgt dafür, dass die teure Hardware möglichst gut ausgelastet wird. Entwickelt wurde vLLM ab 2023 an der Universität Berkeley in Kalifornien. Heute ist es eines der meistgenutzten Werkzeuge dieser Art und wird von einer großen Gemeinschaft weiterentwickelt.

Warum eine Software über die Rechenrechnung entscheidet

Der Betrieb eines Sprachmodells kostet dauerhaft Geld. Jede einzelne Antwort verbraucht Rechenzeit auf einer Grafikkarte, und solche Karten kosten schnell 20.000 Euro und mehr. Wer ein Modell schlecht betreibt, lässt diese Hardware die halbe Zeit Däumchen drehen. Wer es gut betreibt, bedient mit derselben Karte ein Vielfaches an Nutzern.

Genau hier liegt der Wert von vLLM. Die Software erhöht den sogenannten Durchsatz, also die Zahl der Wörter, die eine Karte pro Sekunde ausgeben kann. In den Messungen der Entwickler lag dieser Wert um ein Vielfaches über dem älterer Lösungen. Für einen Anbieter bedeutet das direkt niedrigere Kosten pro Anfrage.

Dazu kommt ein zweiter Punkt: Unabhängigkeit. Wer ein Modell über die Schnittstelle von OpenAI oder Google nutzt, gibt seine Daten aus der Hand und zahlt pro Nutzung. Mit vLLM kann ein Krankenhaus oder eine Bank ein frei verfügbares Modell auf eigenen Servern betreiben. Die Daten verlassen das Haus nicht. Das ist einer der Gründe, warum vLLM in Europa besonders oft auftaucht.

PagedAttention: Speicher wie ein Bibliotheksregal

Während ein Modell einen Text schreibt, muss es sich merken, was bisher gesagt wurde. Diese Notizen liegen im Speicher der Grafikkarte und heißen KV-Cache. Sie sind der eigentliche Engpass, denn sie wachsen mit jedem erzeugten Wort. Ältere Systeme reservierten dafür vorab einen großen Block pro Anfrage, für den schlimmsten Fall. War die Antwort kurz, blieb der Rest ungenutzt liegen.

vLLM löst das mit einem Verfahren namens PagedAttention. Der Speicher wird in viele kleine, gleich große Fächer zerlegt. Jede Anfrage bekommt nur so viele Fächer, wie sie gerade braucht, und die Fächer müssen nicht nebeneinander liegen. Eine Verwaltungstabelle merkt sich, welches Fach zu welcher Anfrage gehört. Das ist wie ein Bibliotheksregal: Die Bücher einer Reihe stehen verteilt, der Katalog weiß trotzdem, wo alles ist.

Dadurch sinkt die Speicherverschwendung von oft über 60 Prozent auf wenige Prozent. Der frei gewordene Platz wird für zusätzliche gleichzeitige Anfragen genutzt. Ein zweiter Trick heißt Continuous Batching: Sobald eine Anfrage fertig ist, rückt sofort die nächste nach, statt dass eine ganze Gruppe auf den Langsamsten wartet. Beides zusammen erklärt den Geschwindigkeitsvorteil.

Wer vLLM einsetzt und was daneben steht

Im Alltag bemerkt man vLLM nie direkt. Es läuft im Hintergrund von Chatbots, Programmierassistenten und Suchfunktionen, die auf offenen Modellen wie Llama, Mistral oder Qwen aufbauen. Auch viele KI-Funktionen in Firmensoftware werden so betrieben. Wer selbst ein Modell auf einem Server installiert, richtet vLLM meist mit wenigen Befehlen ein.

Praktisch ist dabei, dass vLLM dieselbe Schnittstelle anbietet wie OpenAI. Ein Programm, das bisher ChatGPT angesprochen hat, lässt sich dadurch oft mit einer geänderten Adresse auf das eigene Modell umlenken. Das senkt die Hürde zum Wechsel erheblich.

In Nachrichten taucht der Name meist im Zusammenhang mit Kosten oder Benchmarks auf. Konkurrenten sind SGLang, TensorRT-LLM von Nvidia und das eher für Privatnutzer gedachte Ollama. Ein häufiger Irrtum: vLLM ist kein KI-Modell und trainiert auch keines. Es ist reine Betriebstechnik für fertige Modelle, vergleichbar mit dem Motorsteuergerät eines Autos, nicht mit dem Auto selbst.