Backbone-Parameter

Ein KI-Modell besteht im Kern aus sehr vielen Zahlen, die während des Lernens immer wieder nachjustiert werden. Diese Zahlen heißen Parameter, und sie bestimmen, was das Modell aus einer Eingabe macht. Die meisten davon sitzen im Hauptteil des Modells, der bei jeder Aufgabe gebraucht wird. Dieser Hauptteil wird Backbone genannt, auf Deutsch etwa Rückgrat. Die Zahlen darin sind die Backbone-Parameter. Sie speichern das allgemeine Können des Modells: Sprachgefühl, Weltwissen, das Erkennen von Formen in Bildern. Obendrauf sitzen dann kleinere Teile, die auf eine konkrete Aufgabe zugeschnitten sind.

Warum das Rückgrat so teuer ist

Die Backbone-Parameter machen fast das gesamte Gewicht eines Modells aus. Bei einem großen Sprachmodell sind das schnell 70 oder mehr Milliarden Zahlen. Sie einmal von Null an zu trainieren, kostet Millionen Euro an Rechenzeit und Strom. Genau deshalb gibt es weltweit nur wenige Firmen, die wirklich neue Backbones bauen.

Alle anderen nutzen ein fertiges Rückgrat weiter. Das nennt man Transferlernen: Man übernimmt das teuer erlernte Grundwissen und passt nur eine dünne Schicht darüber an. Ein Start-up, das eine Rechtsberatungs-KI baut, trainiert also kein Sprachverständnis von vorn. Es setzt auf einem vorhandenen Backbone auf und spart damit fast die gesamten Kosten.

Das erklärt auch, warum offen verfügbare Modelle wirtschaftlich so wichtig sind. Wer ein starkes Backbone kostenlos herunterladen darf, bekommt praktisch geschenkt, was sonst ein Rechenzentrum voraussetzt. Um genau diese Frage drehen sich viele Debatten über offene und geschlossene KI-Modelle.

Eingefroren oder mittrainiert

Beim Anpassen an eine neue Aufgabe hat man zwei Möglichkeiten. Bei der ersten friert man die Backbone-Parameter ein. Eingefroren heißt: Sie werden beim weiteren Training nicht mehr verändert. Nur die oberen, aufgabenspezifischen Teile lernen noch dazu. Das geht schnell und funktioniert auch mit wenigen tausend Beispielen.

Bei der zweiten Möglichkeit lässt man auch das Rückgrat mitlernen, meist mit sehr kleinen Lernschritten. Das liefert oft bessere Ergebnisse, ist aber riskant. Verändert man die Parameter zu stark, vergisst das Modell einen Teil seines alten Könnens. Fachleute nennen das katastrophales Vergessen.

Als Kompromiss haben sich Verfahren wie LoRA durchgesetzt. Dabei bleibt das Backbone unverändert, und man legt nur kleine Zusatzmatrizen daneben, die das Verhalten verschieben. Statt Milliarden Parametern trainiert man dann vielleicht ein paar Millionen. Das passt auf eine einzelne Grafikkarte statt auf ein Rechenzentrum.

Wo der Begriff in Meldungen auftaucht

Am häufigsten liest man ihn in der Bildverarbeitung. Modelle wie ResNet oder Vision Transformer werden dort ausdrücklich als Backbone bezeichnet. Darauf setzt man dann einen sogenannten Kopf, der etwa Objekte auf Fotos markiert oder Bilder in Kategorien einsortiert. Ein Backbone, viele Köpfe, viele Anwendungen.

Bei Sprachmodellen spricht man öfter vom Basismodell oder Foundation Model. Gemeint ist praktisch dasselbe: ein breit trainiertes Rückgrat, das später verfeinert wird. Wenn eine Firma meldet, sie habe ein Modell auf ihre Branche spezialisiert, hat sie das Backbone in aller Regel unverändert übernommen.

Ein verbreiteter Irrtum: Die Zahl der Backbone-Parameter allein sagt wenig über die Qualität aus. Ein gut trainiertes Modell mit 8 Milliarden Parametern kann ein schlecht trainiertes mit 70 Milliarden schlagen. Entscheidend sind Menge und Qualität der Trainingsdaten sowie die Architektur. Die Parameterzahl ist nur eine Größenangabe, keine Note.