Emergenz

Wasser besteht aus einzelnen Molekülen. Kein einzelnes Molekül ist nass. Nass wird die Sache erst, wenn sehr viele davon zusammenkommen. Solche Eigenschaften, die aus dem Zusammenspiel vieler Teile entstehen und keinem Einzelteil zugeschrieben werden können, nennt man emergent. In der KI-Forschung meint Emergenz genau das: Ein System kann auf einmal etwas, das man aus seinen Bauteilen nicht ablesen kann. Ein Sprachprogramm wird zum Beispiel nur darauf trainiert, das jeweils nächste Wort in einem Text zu erraten. Trotzdem kann ein großes Modell dann plötzlich Rechenaufgaben lösen oder aus dem Deutschen ins Japanische übersetzen. Niemand hat ihm das gezielt gezeigt.

Fähigkeiten, die niemand bestellt hat

Emergenz ist einer der Gründe, warum die Entwicklung von KI schwer planbar ist. Bei einer normalen Software steht vorher fest, was sie können soll. Ein Taschenrechner rechnet, weil jemand die Rechenregeln hineinprogrammiert hat. Ein großes Sprachmodell dagegen bekommt kein Regelbuch, sondern riesige Textmengen. Was es am Ende beherrscht, stellt sich erst nach dem Training heraus.

Für Unternehmen ist das ein wirtschaftliches Risiko und eine Chance zugleich. Ein Training kann viele Millionen Euro kosten, und das Ergebnis lässt sich vorher nicht exakt vorhersagen. Manchmal fällt dabei eine Fähigkeit ab, die ein ganz neues Produkt möglich macht. Genau das war beim Sprung von älteren zu neueren Modellgenerationen mehrfach der Fall.

Die Kehrseite betrifft die Sicherheit. Wenn niemand vorhersagen kann, was ein System können wird, kann man auch unerwünschte Fähigkeiten nicht sicher ausschließen. Deshalb testen große Anbieter ihre Modelle vor der Veröffentlichung monatelang. Sie suchen dabei gezielt nach Verhalten, mit dem sie nicht gerechnet haben.

Der Sprung an der Größenschwelle

Emergente Fähigkeiten hängen stark mit der Größe eines Modells zusammen. Größe misst man hier in Parametern. Das sind die einstellbaren Zahlenwerte im Inneren des Systems, vergleichbar mit Millionen kleiner Drehregler. Ein kleines Modell hat einige Milliarden davon, ein großes mehrere hundert Milliarden. Dazu kommt die Menge an Trainingstext und die aufgewendete Rechenzeit.

Interessant ist der typische Verlauf. Bei einer Aufgabe wie dem dreistelligen Kopfrechnen scheitern kleine Modelle vollständig. Auch etwas größere liegen weiter bei nahezu null Prozent richtiger Antworten. Ab einer bestimmten Größe springt die Trefferquote dann sprunghaft nach oben. Die Kurve steigt also nicht sanft an, sondern knickt scharf ab.

Ob dieser Sprung wirklich im Modell passiert, ist umstritten. Forscher der Universität Stanford haben 2023 gezeigt, dass der Effekt oft an der Messmethode liegt. Wer eine Rechenaufgabe nur als richtig oder falsch wertet, sieht einen Sprung. Wer zählt, wie viele Ziffern stimmen, sieht einen langsamen Anstieg. Emergenz ist deshalb auch eine Frage der Perspektive.

Emergenz in Schlagzeilen und Produkten

In Nachrichten taucht der Begriff meist bei der Vorstellung neuer Modelle auf. Dann heißt es, ein System zeige überraschende oder unerwartete Fähigkeiten. Gemeint ist damit fast immer Emergenz. Häufig geht es um Programmieren, logisches Schließen oder das Verstehen von Anweisungen in mehreren Schritten.

Im Alltag begegnet dir das Ergebnis, ohne dass jemand das Wort benutzt. Ein Chatbot, der ein Gedicht im Stil eines bestimmten Autors schreibt, wurde dafür nicht extra trainiert. Dasselbe gilt für Modelle, die einen Fehler im Programmcode erklären können. Diese Fähigkeiten sind Nebenprodukte des allgemeinen Trainings.

Ein verbreiteter Irrtum ist, Emergenz sei ein Zeichen von Bewusstsein oder echtem Verstehen. Das ist sie nicht. Der Begriff beschreibt nur, dass eine Fähigkeit unerwartet auftritt. Über das, was im Inneren des Systems tatsächlich vorgeht, sagt er nichts aus. Auch ein Ameisenhaufen wirkt planvoll, obwohl keine einzelne Ameise einen Bauplan kennt.