Contrastive Learning
Contrastive Learning ist eine Trainingsmethode, bei der ein KI-Modell lernt, ähnliche Dinge als ähnlich und verschiedene Dinge als verschieden einzustufen — ohne dass jemand die Daten vorher von Hand beschriftet. Es ist eine der wichtigsten Techniken, mit der moderne Bild- und Sprachmodelle ein nützliches Verständnis der Welt entwickeln.
Contrastive Learning ist eine Art, ein KI-Modell zu trainieren, ohne für jedes Beispiel eine fertige Antwort vorzugeben. Das Modell bekommt stattdessen Paare von Eingaben gezeigt — manche ähnlich, manche verschieden. Seine Aufgabe: ähnliche Paare nah beieinander einzuordnen, verschiedene Paare weit auseinander. Was „ähnlich“ bedeutet, legt dabei nicht ein Mensch fest, sondern eine Regel, die man aus den Daten selbst ableitet. Ein Foto und eine leicht gedrehte Version desselben Fotos gelten als ähnlich. Ein Foto einer Katze und ein Foto eines Autos gelten als verschieden. Aus Tausenden solcher Vergleiche entwickelt das Modell ein Gespür dafür, welche Eigenschaften wirklich zählen.
Warum beschriftungsfreies Training ein Durchbruch war
Das klassische Problem des maschinellen Lernens ist der Aufwand für Trainingsdaten. Jemand muss Millionen von Bildern ansehen und jedem ein Etikett geben: „Hund“, „Auto“, „Stuhl“. Das kostet Zeit und Geld. Contrastive Learning umgeht diesen Engpass fast vollständig.
Das Modell beschriftet sich seine Daten selbst, nach einer einfachen Logik: Zwei Versionen desselben Bildes müssen zusammengehören, alles andere muss sich unterscheiden. So kann man das offene Internet als Rohmaterial nutzen, ohne jedes Bild anzufassen. Das hat die Menge nutzbarer Trainingsdaten um mehrere Größenordnungen vergrößert.
Ein weiterer Vorteil: Die so gelernten Darstellungen sind flexibel. Ein Modell, das per Contrastive Learning auf Fotos trainiert wurde, kann anschließend mit wenigen beschrifteten Beispielen für ganz neue Aufgaben angepasst werden — Hautkrebs erkennen, Pflanzenarten unterscheiden, Satellitenkarten auswerten. Das Grundwissen überträgt sich.
Der Trainingsablauf im Detail
Der technische Kern ist ein sogenannter Ankerpunkt. Das Modell nimmt ein Ausgangsbild — den Anker — und vergleicht es gleichzeitig mit einem positiven Beispiel (eine Variante desselben Bildes, zum Beispiel leicht heller oder zugeschnitten) und mit mehreren negativen Beispielen (zufällig andere Bilder aus dem Datensatz). Das Modell lernt durch einen Verlustterm, der es bestraft, wenn positives und negatives Beispiel gleich weit entfernt liegen.
Ein wichtiger Trick dabei: Je mehr negative Beispiele pro Trainingsschritt, desto besser. Das populäre Verfahren SimCLR aus dem Jahr 2020 zeigte, dass erst sehr große Gruppen negativer Beispiele zu wirklich brauchbaren Darstellungen führen. Das macht das Training rechenintensiv, war aber ein entscheidender Schritt zur praktischen Nutzbarkeit.
Neuere Methoden wie BYOL oder SimSiam gehen noch weiter: Sie kommen ganz ohne negative Beispiele aus und verhindern trotzdem, dass das Modell eine triviale Lösung findet — zum Beispiel alles gleich darzustellen. Wie das genau funktioniert, ist mathematisch noch nicht vollständig verstanden und aktives Forschungsgebiet.
Wo Contrastive Learning heute steckt
Das wohl bekannteste Produkt ist CLIP von OpenAI, veröffentlicht 2021. CLIP wurde auf 400 Millionen Bild-Text-Paare trainiert, mit der Idee: Ein Bild und die passende Bildbeschriftung sind ein positives Paar, alle anderen Kombinationen sind negativ. Das Ergebnis ist ein Modell, das Bilder und Sprache in einem gemeinsamen Raum versteht — es kann Bilder nach Textbeschreibungen suchen, ohne je auf genau diese Kategorie trainiert worden zu sein.
CLIP steckt heute in Bildgeneratoren wie DALL-E und Stable Diffusion: Sie nutzen CLIPs Sprachverständnis, um aus einem Textprompt ein Bild zu erzeugen. Auch Googles Bildersuche und Pinterests visuelle Suche verwenden ähnliche Ansätze unter der Haube.
Im Bereich Sprache allein taucht Contrastive Learning bei der Verbesserung von Suchmaschinen auf. Modelle lernen, welche Sätze inhaltlich dasselbe bedeuten, auch wenn sie unterschiedlich formuliert sind — „Wie wird das Wetter morgen?“ und „Wettervorhersage für heute Nacht“ landen dann nah beieinander. Das macht Suchergebnisse präziser, ohne dass jemand Millionen von Suchanfragen per Hand bewertet.