Selbst gehostetes Modell

Wer heute mit einem KI-Programm wie einem Chatbot arbeitet, schickt seine Eingaben meist über das Internet an einen fremden Rechner. Dieser Rechner gehört einem Anbieter, rechnet dort die Antwort aus und schickt sie zurück. Bei einem selbst gehosteten Modell passiert genau das nicht. Stattdessen läuft das KI-Programm auf einem Computer, der dem Nutzer oder seiner Firma selbst gehört. Das kann ein Server im Keller des Unternehmens sein, ein gemieteter Rechner in einem Rechenzentrum oder sogar der eigene Laptop. Die Daten verlassen dabei im Idealfall nie das eigene Netzwerk.

Datenschutz, Preise und Unabhängigkeit vom Anbieter

Der häufigste Grund für diesen Aufwand ist der Umgang mit sensiblen Daten. Ein Krankenhaus darf Patientenakten nicht einfach an einen fremden Dienstleister schicken. Auch Anwaltskanzleien, Banken und Behörden unterliegen strengen Regeln. Läuft das Modell im eigenen Haus, bleibt die Frage, wer die Daten sonst noch sieht, deutlich einfacher zu beantworten. Genau deshalb ist das Thema in Europa besonders präsent.

Ein zweiter Grund sind die Kosten. Bei einem externen Anbieter zahlt man meist pro Anfrage, oft abgerechnet in winzigen Beträgen pro verarbeitetem Textstück. Das ist bei wenigen tausend Anfragen im Monat sehr günstig. Bei Millionen Anfragen kann sich die Rechnung umdrehen. Dann lohnt sich eigene Hardware, weil deren Anschaffungspreis einmalig anfällt und die Nutzung danach fast nichts mehr kostet.

Dazu kommt die Unabhängigkeit. Ein Anbieter kann Preise erhöhen, ein Modell abschalten oder es durch eine neue Version ersetzen, die sich anders verhält. Wer selbst hostet, entscheidet allein, wann er wechselt. Der Fachbegriff dafür lautet Vendor Lock-in: die Abhängigkeit von einem einzelnen Zulieferer, aus der man nur schwer wieder herauskommt.

Was man dafür an Technik braucht

Am Anfang steht ein Modell, dessen Bauplan und Zahlenwerte öffentlich verfügbar sind. Solche Modelle nennt man offene Modelle, bekannte Beispiele sind Llama von Meta, Mistral oder Qwen. Man lädt eine Datei mit mehreren Gigabyte herunter. Diese Datei enthält die Parameter, also die Millionen bis Milliarden gelernter Zahlenwerte, die das Verhalten des Modells bestimmen.

Danach braucht es passende Hardware. Große Sprachmodelle rechnen auf Grafikkarten, weil diese sehr viele einfache Rechnungen parallel ausführen können. Entscheidend ist der Speicher der Grafikkarte, denn das Modell muss vollständig hineinpassen. Als grobe Faustregel gilt: ein Modell mit sieben Milliarden Parametern belegt je nach Speicherformat etwa vier bis vierzehn Gigabyte. Wirklich große Modelle brauchen mehrere Karten gleichzeitig, und eine einzelne Profikarte kostet schnell einen fünfstelligen Betrag.

Zwischen Datei und Nutzer liegt schließlich eine Software, die das Modell lädt und Anfragen entgegennimmt. Verbreitete Werkzeuge dafür heißen Ollama, vLLM oder llama.cpp. Sie stellen eine Schnittstelle bereit, die sich für andere Programme fast genauso anfühlt wie die eines kommerziellen Anbieters. Ein bestehendes Programm lässt sich deshalb oft mit wenigen Zeilen umstellen.

Vom Bastelprojekt bis zur Firmen-IT

Im Kleinen begegnet einem das Thema bei Programmen, die ein Sprachmodell direkt auf dem eigenen Laptop laufen lassen. Ein aktueller Rechner schafft kleinere Modelle ohne Internetverbindung, wenn auch langsamer und mit schwächeren Antworten als große Onlinedienste. Für Übersetzungen, Zusammenfassungen oder einfache Programmierhilfe reicht das oft aus.

Im Großen ist es ein Standardthema in der Unternehmens-IT. Viele Firmen betreiben eigene Modelle für interne Suche, Dokumentenanalyse oder Support. In News taucht der Begriff auf, wenn Behörden Ausschreibungen für souveräne KI-Infrastruktur veröffentlichen oder Konzerne ankündigen, ihre KI ins eigene Rechenzentrum zu holen. Ein häufiger Irrtum dabei: Selbst hosten heißt nicht automatisch sicher. Ein schlecht abgesicherter eigener Server kann angreifbarer sein als das Rechenzentrum eines großen Anbieters.