LAB Benchmark
LAB ist ein von IBM und dem MIT-IBM Watson AI Lab entwickeltes Verfahren, das Sprachmodelle mit künstlich erzeugten Übungsdaten nachtrainiert. Der zugehörige Benchmark misst, wie gut ein so trainiertes Modell im Vergleich zu Modellen abschneidet, die mit teuren, von Menschen geschriebenen Daten verbessert wurden.
Ein Sprachmodell ist ein Computerprogramm, das aus riesigen Textmengen gelernt hat, Sätze fortzusetzen. Nach diesem ersten Lernen kann es zwar Text erzeugen, folgt aber Anweisungen noch schlecht. Deshalb bekommt es eine zweite Lernrunde mit Beispielen für gute Fragen und Antworten. Solche Beispiele schrieben früher Menschen von Hand, was langsam und sehr teuer ist. LAB ist ein Verfahren, das diese Übungsbeispiele stattdessen von einem anderen Modell erzeugen lässt. Der LAB Benchmark ist die zugehörige Messung: Er prüft, ob ein Modell mit künstlichen Beispielen genauso gut wird wie eines mit menschlichen. Der Name steht für « Large-scale Alignment for chatBots ».
Was billige Trainingsdaten für die Modellwelt ändern
Die zweite Lernrunde ist der Punkt, an dem aus einem Textfortsetzer ein brauchbarer Assistent wird. Große Firmen beschäftigen dafür tausende Menschen, die Beispielantworten schreiben und bewerten. Diese Datensätze sind ein wesentlicher Teil ihres Vorsprungs und werden meist nicht veröffentlicht. Kleinere Labore und Universitäten können bei diesen Kosten kaum mithalten.
LAB greift genau hier an. Wenn ein Modell seine Übungsaufgaben selbst produzieren kann, sinken die Kosten drastisch. IBM veröffentlichte dazu Modelle namens Labradorite und Merlinite, die auf offenen Basismodellen aufbauen. In den Messungen erreichten sie Werte, die nahe an aufwendig von Hand nachtrainierte Modelle heranreichen.
Wichtig ist die richtige Einordnung. LAB ist kein Prüfungstest wie MMLU, wo Modelle Wissensfragen beantworten. Es ist zuerst ein Trainingsverfahren, und der Benchmark misst, ob dieses Verfahren funktioniert. Wer in News von « LAB » liest, sollte prüfen, ob gerade die Methode oder das Messergebnis gemeint ist.
Baumdiagramm statt Zufallsfragen
Der Kern von LAB ist eine sogenannte Taxonomie. Das ist eine baumartig geordnete Liste von Fähigkeiten und Wissensgebieten, die das Modell beherrschen soll. Ein Ast könnte « Programmieren » heißen, ein Unterast « Python », darunter « Fehlersuche ». Menschen pflegen diesen Baum und legen ein paar Beispielaufgaben pro Blatt hinein.
Danach übernimmt ein Lehrermodell. Es bekommt die Beispiele aus einem Ast und erzeugt daraus hunderte ähnliche Aufgaben mit Antworten. Ein zweiter Schritt sortiert schlechte oder falsche Ergebnisse wieder aus. So entstehen aus wenigen menschlichen Vorlagen sehr große Trainingsmengen.
Beim eigentlichen Nachtrainieren geht LAB in Stufen vor. Zuerst lernt das Modell Faktenwissen, danach Fähigkeiten wie Zusammenfassen oder Argumentieren. Diese Reihenfolge soll verhindern, dass neu Gelerntes altes Wissen überschreibt. Man nennt dieses Vergessen in der Forschung « catastrophic forgetting », und es ist ein bekanntes Problem beim Nachtrainieren.
LAB in offenen Modellen und Firmenprojekten
Am sichtbarsten ist LAB im Projekt InstructLab, das IBM und Red Hat als offene Software betreiben. Dort kann jeder eine neue Fähigkeit in den Fähigkeitsbaum eintragen, ähnlich wie bei einem Wikipedia-Eintrag. Das System erzeugt daraus Trainingsdaten und aktualisiert das Modell. Damit lässt sich ein Modell mit einem Notebook und ohne Rechenzentrum erweitern.
Für Unternehmen ist das vor allem bei internem Wissen interessant. Eine Versicherung kann ihre eigenen Tarifregeln in den Baum legen, ohne die Daten an einen externen Anbieter zu geben. Genau damit wirbt IBM auch für seine Granite-Modelle. In Börsen- und Techmeldungen taucht LAB deshalb meist im Zusammenhang mit dem Wettbewerb zwischen offenen und geschlossenen Modellen auf.
Ein typischer Irrtum ist die Annahme, künstliche Trainingsdaten seien immer gleichwertig. Wenn ein Modell nur von sich selbst lernt, verstärken sich seine Fehler über mehrere Runden. LAB versucht das durch menschlich gepflegte Struktur und automatische Qualitätskontrolle abzufedern. Ob das langfristig reicht, ist in der Forschung weiterhin offen.