Self-Supervised Learning

Damit ein Computerprogramm etwas lernen kann, braucht es Übungsaufgaben mit bekannter Lösung. Früher haben Menschen diese Lösungen von Hand eingetragen: Sie markierten auf tausenden Fotos, wo eine Katze zu sehen ist. Das ist teuer und langsam. Beim Self-Supervised Learning erzeugt das Programm seine Übungsaufgaben stattdessen selbst aus den Rohdaten. Ein typischer Trick: Man verdeckt ein Wort in einem Satz, und das Programm muss raten, welches fehlte. Die richtige Antwort steht ja bereits im Text — niemand muss sie extra hinschreiben.

Warum Textmassen aus dem Internet plötzlich nutzbar wurden

Beschriftete Daten sind knapp, unbeschriftete Daten gibt es fast unbegrenzt. Das Internet enthält Milliarden Seiten Text, dazu Bilder, Videos und Tonaufnahmen. Solange ein Verfahren menschliche Beschriftungen brauchte, ließ sich dieser Berg kaum verwerten. Self-Supervised Learning hat genau dieses Nadelöhr beseitigt.

Das ist der Hauptgrund, warum es seit etwa 2018 so große Sprachmodelle gibt. Systeme wie ChatGPT wurden auf Textmengen trainiert, die ein Mensch in tausend Leben nicht lesen könnte. Kein Unternehmen hätte je das Geld gehabt, diese Texte von Hand zu kommentieren. Der Umweg über selbst erzeugte Aufgaben war die Voraussetzung für diesen Sprung.

Noch wichtiger ist ein Nebeneffekt: Wer lernt, das nächste Wort vorherzusagen, muss dafür sehr viel über die Welt wissen. Um den Satz „Die Hauptstadt von Japan ist ...“ zu vervollständigen, braucht man Faktenwissen. Um „Er stolperte und fiel zu ...“ zu ergänzen, braucht man Alltagslogik. Aus einer scheinbar stumpfen Ratearbeit entsteht so nebenbei ein breites Weltmodell.

Lückentexte als Trainingsaufgabe

Das Grundprinzip ist immer gleich: Ein Teil der Daten wird versteckt, der Rest bleibt sichtbar. Das Modell soll den versteckten Teil rekonstruieren. Danach vergleicht man die Vorhersage mit dem echten Wert und passt die internen Einstellungen des Modells leicht an. Diese Einstellungen heißen Parameter; große Modelle haben Milliarden davon. Der Ablauf wiederholt sich milliardenfach.

Bei Sprachmodellen gibt es zwei verbreitete Varianten. Die eine verdeckt einzelne Wörter mitten im Satz, so arbeitete etwa das Modell BERT. Die andere zeigt nur den Text bis zu einer Stelle und lässt die Fortsetzung vorhersagen; darauf beruhen die GPT-Modelle. Bei Bildern schneidet man Teile heraus, verdreht Ausschnitte oder lässt das Modell erkennen, ob zwei Ausschnitte aus demselben Foto stammen.

Ein häufiger Irrtum ist, Self-Supervised Learning sei dasselbe wie unüberwachtes Lernen. Beim unüberwachten Lernen gibt es überhaupt keine Zielantwort, das Programm sucht nur Muster und Gruppen in den Daten. Beim Self-Supervised Learning gibt es sehr wohl eine eindeutig richtige Antwort — sie stammt nur aus den Daten selbst statt von einem Menschen. Man kann es als überwachtes Lernen mit automatisch erzeugtem Lösungsblatt beschreiben.

Vom Basismodell zum fertigen Produkt

In Nachrichten über KI taucht das Verfahren meist unter dem Stichwort Vortraining auf. Damit ist die erste, teure Phase gemeint, in der ein Modell auf riesigen Textmengen selbstüberwacht lernt. Das Ergebnis nennt man Basismodell. Es kann viel, ist aber noch kein hilfreicher Gesprächspartner. Erst danach folgt eine kleinere Phase mit von Menschen erstellten Beispielen und Bewertungen, die das Modell höflich und nützlich macht.

Auch abseits von Chatbots ist das Prinzip überall im Einsatz. Spracherkennung auf dem Handy, automatische Übersetzung, medizinische Bildanalyse und die Empfehlungen in Streaming-Diensten nutzen selbstüberwacht vortrainierte Modelle. Der Vorteil ist derselbe: Man braucht am Ende nur noch wenige beschriftete Beispiele für die konkrete Aufgabe.

Für die Debatte um Urheberrecht ist der Punkt zentral. Weil das Verfahren beliebige Rohdaten verwerten kann, wurden Bücher, Zeitungsartikel und Fotos ohne Zustimmung ins Training gegeben. Genau darum drehen sich derzeit mehrere große Gerichtsverfahren gegen KI-Unternehmen.