Adapter (Parameter-effizientes Fine-Tuning)
Adapter sind kleine zusätzliche Bausteine, die man in ein bereits trainiertes KI-Modell einsetzt, um es für eine neue Aufgabe anzupassen. Statt das gesamte Modell neu zu trainieren, verändert man nur diese wenigen Bausteine – das spart Rechenzeit, Speicher und Geld.
Große Sprachprogramme wie ChatGPT bestehen aus Milliarden einstellbarer Zahlen. Diese Zahlen heißen Parameter, und sie enthalten alles, was das Programm beim Lernen aufgenommen hat. Will man so ein fertiges Programm auf eine Spezialaufgabe umstellen, etwa auf juristische Texte, könnte man alle Zahlen neu justieren. Das ist aber extrem teuer und braucht starke Rechner. Ein Adapter ist der sparsame Weg: man friert die vorhandenen Zahlen ein und baut nur einige wenige neue dazu. Nur diese neuen Zahlen werden verändert, oft weniger als ein Prozent des Gesamtmodells.
Was Adapter an Kosten und Speicher sparen
Ein Modell komplett nachzutrainieren verlangt Grafikkarten im Wert von mehreren Hunderttausend Euro. Für einen Adapter reicht oft eine einzige gute Grafikkarte, manchmal sogar eine gemietete für wenige Euro pro Stunde. Damit können auch kleine Firmen, Universitäten oder Einzelpersonen ein großes Modell auf ihren Zweck zuschneiden. Das ist einer der Gründe, warum es so viele spezialisierte KI-Werkzeuge gibt.
Der zweite Vorteil betrifft die Ablage. Eine vollständige angepasste Kopie eines großen Modells belegt schnell mehrere hundert Gigabyte. Ein Adapter dafür ist oft nur wenige Megabyte groß. Ein Anbieter kann also ein Grundmodell einmal auf seinen Servern halten und hunderte Adapter für hunderte Kunden daneben legen. Beim Beantworten einer Anfrage wird dann nur der passende Adapter dazugeschaltet.
Dazu kommt ein Sicherheitsaspekt, der leicht übersehen wird. Weil das Grundmodell unverändert bleibt, kann man es nicht versehentlich beschädigen. Wenn ein Adapter schlechte Ergebnisse bringt, löscht man ihn und beginnt neu. Beim vollständigen Nachtrainieren verliert ein Modell dagegen manchmal Fähigkeiten, die es vorher hatte.
Kleine Zwischenschichten statt neuer Milliarden
Ein KI-Modell ist in Schichten aufgebaut, die Daten der Reihe nach durchlaufen. Bei der klassischen Adapter-Methode setzt man zwischen diese Schichten winzige Zusatzschichten ein. Sie schrumpfen die Daten erst auf wenige Werte zusammen, rechnen darauf und blasen sie wieder auf die alte Größe auf. Dieser Umweg über einen Engpass ist der Trick: er sorgt dafür, dass nur sehr wenige neue Zahlen nötig sind.
Beim Trainieren wird dem Modell gezeigt, was es besser machen soll. Die Korrektur fließt aber ausschließlich in die Zusatzschichten. Alle ursprünglichen Zahlen bleiben unangetastet. Man kann sich das wie eine Brille vorstellen: Das Auge bleibt, wie es ist, die Brille lenkt das Licht nur ein wenig um.
Die heute verbreitetste Variante heißt LoRA. Sie fügt keine eigene Schicht ein, sondern legt eine kleine Korrekturtabelle neben die bestehenden Zahlen. Ihr Vorteil: Nach dem Training kann man diese Korrektur mit dem Original verrechnen, dann kostet sie bei der Nutzung keine zusätzliche Rechenzeit. Der Sammelbegriff für all diese Verfahren ist parameter-effizientes Fine-Tuning.
Adapter in Apps, Bildgeneratoren und Firmen-KI
Am sichtbarsten sind Adapter bei Bildgeneratoren. In Online-Sammlungen finden sich tausende kleine Dateien, die einem Generator einen bestimmten Zeichenstil, eine Person oder ein Objekt beibringen. Jede dieser Dateien ist ein Adapter, meist eine LoRA-Datei von wenigen Megabyte. Man lädt sie zusätzlich zum Grundmodell und schaltet sie bei Bedarf ein oder aus.
In Unternehmen dient dieselbe Technik dazu, ein Modell auf den eigenen Fachjargon zu trimmen. Eine Versicherung kann so ein allgemeines Sprachmodell auf ihre Vertragsformulierungen einstellen. Cloud-Anbieter wie Amazon, Google oder Microsoft bieten diesen Vorgang als Dienst an, oft für wenige Euro pro Trainingslauf.
Ein häufiger Irrtum: Adapter bringen dem Modell kein neues Wissen im Sinne von Fakten. Sie verschieben vor allem Verhalten, Stil und Format der Antworten. Wer aktuelle Daten braucht, kombiniert das Modell besser mit einer Suche in eigenen Dokumenten. Adapter und Suche schließen sich nicht aus, sondern werden in der Praxis oft zusammen eingesetzt.
