Emergentes Verhalten

Manche Eigenschaften entstehen erst, wenn viele einfache Teile zusammenwirken. Eine einzelne Ameise ist ziemlich dumm. Ein Ameisenstaat baut trotzdem Tunnel, verteilt Aufgaben und findet die kürzesten Wege zum Futter. Niemand hat das geplant, es ergibt sich aus dem Zusammenspiel. Genau dieses Phänomen nennt man Emergenz, auf Deutsch etwa « Auftauchen ». In der Künstlichen Intelligenz meint emergentes Verhalten Fähigkeiten, die ein Programm zeigt, ohne dass die Entwickler sie einprogrammiert oder auch nur erwartet haben.

Warum große Sprachmodelle Forscher überraschen

Programme, die Texte erzeugen, werden mit einer erstaunlich schlichten Aufgabe trainiert: Sie sollen das jeweils nächste Wort in einem Text erraten. Man füttert sie mit riesigen Mengen an Büchern, Artikeln und Webseiten. Sie lernen dabei nur Wahrscheinlichkeiten, keine Regeln im menschlichen Sinn. Trotzdem können die größten dieser Systeme am Ende Gedichte schreiben, Programmcode reparieren und einfache Rechenaufgaben lösen. Diese Fähigkeiten standen in keiner Aufgabenbeschreibung.

Das Auffällige daran ist der Verlauf. Bei kleinen Modellen liegt die Trefferquote in solchen Aufgaben nahe null, und sie bleibt es auch, wenn man das Modell etwas vergrößert. Ab einer bestimmten Größe springt sie dann plötzlich nach oben. Es gibt also keine sanfte Steigerung, sondern einen Sprung. Forscher sprechen deshalb von einer Schwelle, ab der eine Fähigkeit « auftaucht ».

Für die Branche ist das ein zweischneidiges Schwert. Einerseits ist es der Grund, warum Unternehmen Milliarden in immer größere Systeme stecken: Man hofft auf die nächste unerwartete Fähigkeit. Andererseits kann niemand seriös versprechen, was ein Modell nach dem Training können wird. Das erschwert Sicherheitsprüfungen, denn man kann schlecht auf etwas testen, von dem man nicht weiß, dass es existiert.

Wie aus Statistik plötzlich Können wird

Ein Sprachmodell besteht aus Milliarden von Zahlenwerten, den sogenannten Parametern. Diese Werte steuern, wie stark einzelne Bausteine des Netzes aufeinander reagieren. Beim Training werden sie in winzigen Schritten so lange angepasst, bis das Modell möglichst gute Wortvorhersagen macht. Um bei dieser Vorhersage wirklich gut zu sein, reicht Auswendiglernen irgendwann nicht mehr aus. Das Modell muss Muster erfassen: Satzbau, typische Argumentationsketten, den Aufbau eines Kochrezepts.

Genau daraus entstehen die überraschenden Fähigkeiten. Wer Millionen von Rechenwegen gesehen hat, kann einen neuen Rechenweg fortsetzen. Wer Tausende Übersetzungen gelesen hat, kann übersetzen, ohne je eine Vokabelliste bekommen zu haben. Das Können ist ein Nebenprodukt der Wortvorhersage, kein eigenes Lernziel.

Es gibt allerdings einen wichtigen Einwand. Mehrere Studien argumentieren, die plötzlichen Sprünge lägen zum Teil an der Messmethode. Wenn man eine Aufgabe nur als « komplett richtig » oder « falsch » bewertet, sieht jede allmähliche Verbesserung wie ein Sprung aus. Misst man feiner, verläuft die Kurve oft glatter. Emergenz ist also ein beobachtetes Phänomen, über dessen genaue Ursache man streiten kann.

Emergenz in Produkten und Schlagzeilen

Am deutlichsten merkt man es bei Chatbots. Man kann ihnen eine Aufgabe stellen, die in keinem Handbuch steht, etwa einen Vertragstext in Jugendsprache zusammenfassen. Oft funktioniert das trotzdem. Ähnliches gilt für Programmierhilfen, die Fehler in einer Sprache finden, die im Training nur am Rand vorkam.

In Nachrichten taucht der Begriff meist bei Modellvorstellungen auf. Dann heißt es, ein neues System zeige « emergente Fähigkeiten » im logischen Schließen. Solche Aussagen sind mit Vorsicht zu lesen, denn sie sind auch Marketing. Nützlich ist die Rückfrage, wie gemessen wurde und ob unabhängige Tests das bestätigen.

Ein häufiger Irrtum sollte noch ausgeräumt werden. Emergentes Verhalten bedeutet nicht, dass ein Modell ein Bewusstsein entwickelt oder eigene Absichten verfolgt. Es bedeutet nur, dass eine Fähigkeit auftritt, die nicht direkt eintrainiert wurde. Der Unterschied ist groß, wird in Schlagzeilen aber gern verwischt.