LoRA
LoRA ist ein Verfahren, um ein fertiges KI-Modell für eine neue Aufgabe anzupassen, ohne es komplett neu zu berechnen. Statt aller Werte im Modell wird nur ein kleiner Zusatzteil trainiert, der oft weniger als ein Prozent der ursprünglichen Größe hat.
Große KI-Modelle bestehen aus Milliarden von Zahlen, die beim Lernen eingestellt wurden. Diese Zahlen nennt man Gewichte, sie speichern alles, was das Modell kann. Will man so ein fertiges Modell auf eine neue Aufgabe zuschneiden, müsste man normalerweise alle diese Zahlen erneut anpassen. Das kostet sehr viel Rechenzeit und Geld. LoRA ist ein Trick, der das umgeht: Die ursprünglichen Zahlen bleiben unverändert eingefroren. Stattdessen lernt man nur eine kleine Zusatzschicht, die die Ergebnisse des Modells gezielt verschiebt. Der Name steht für Low-Rank Adaptation, also sinngemäß Anpassung mit wenigen Zusatzwerten.
Warum kleine Firmen damit mithalten können
Ein großes Sprachmodell vollständig nachzutrainieren, erfordert oft dutzende spezialisierte Grafikkarten. Solche Rechner kosten pro Stück den Preis eines Kleinwagens. Mit LoRA reicht für viele Fälle eine einzige gute Grafikkarte. Damit können auch Universitäten, Start-ups oder einzelne Entwickler ein bestehendes Modell an ihren Zweck anpassen.
Der zweite Vorteil ist die Dateigröße. Ein komplettes Modell kann hunderte Gigabyte belegen. Ein LoRA-Zusatzteil ist oft nur wenige Megabyte groß, also ähnlich klein wie ein Foto oder ein Musikstück. Man kann solche Dateien bequem im Internet teilen, und viele Nutzer tun das auch.
Daraus folgt ein dritter Punkt: Man kann viele Anpassungen parallel betreiben. Ein Anbieter lädt das große Grundmodell einmal in den Speicher und schaltet je nach Kunde einen anderen kleinen Zusatzteil davor. Ohne LoRA bräuchte jeder Kunde eine eigene vollständige Kopie des Modells.
Der Trick mit den zwei schmalen Tabellen
Die Gewichte in einem Modell lassen sich als große Tabellen aus Zahlen vorstellen, etwa 4000 Zeilen mal 4000 Spalten. Das sind 16 Millionen Werte in einer einzigen Tabelle. Beim normalen Nachtrainieren würde man jeden dieser Werte verändern. LoRA verändert stattdessen gar nichts an dieser Tabelle.
Stattdessen kommen zwei sehr schmale Tabellen dazu. Die erste hat 4000 Zeilen, aber nur acht Spalten. Die zweite hat acht Zeilen und 4000 Spalten. Multipliziert man beide, entsteht wieder eine Tabelle der ursprünglichen Größe. Zusammen enthalten sie aber nur rund 64.000 Werte statt 16 Millionen. Nur diese wenigen Werte werden trainiert und als Ergebnis abgespeichert.
Die Zahl acht heißt Rang und ist frei wählbar. Ein höherer Rang erlaubt feinere Anpassungen, macht die Datei aber größer. Dahinter steckt die Annahme, dass eine Spezialisierung meist keine völlig neuen Fähigkeiten braucht. Sie verschiebt nur Schwerpunkte, und dafür genügen wenige Zusatzwerte. Ein häufiger Irrtum ist, LoRA könne einem Modell komplett neues Wissen beibringen. Für echtes Fachwissen bleibt vollständiges Training meist die bessere Wahl.
LoRA in Bildgeneratoren und Firmen-Chatbots
Am sichtbarsten ist LoRA bei Bildgeneratoren wie Stable Diffusion. Auf Plattformen wie Civitai stehen zehntausende solcher Zusatzdateien bereit. Eine sorgt für einen bestimmten Zeichenstil, eine andere für eine bestimmte Figur. Nutzer laden mehrere davon gleichzeitig und mischen die Effekte.
Bei Sprachmodellen taucht LoRA meist unsichtbar im Hintergrund auf. Wenn ein Anbieter Fine-Tuning verkauft, also die Anpassung an eigene Daten, steckt oft LoRA dahinter. Eine Kanzlei bringt einem Modell so ihren Schreibstil bei, ein Händler den Tonfall seines Kundendienstes.
In Fachnachrichten begegnet dir außerdem die Abkürzung QLoRA. Dabei wird das eingefrorene Grundmodell zusätzlich vergröbert gespeichert, um Speicher zu sparen. So lassen sich sehr große Modelle sogar auf einem einzelnen Rechner anpassen. Diese Kombination gilt als einer der Gründe, warum die Szene der frei verfügbaren Modelle seit 2023 so schnell gewachsen ist.