Feedback-Schleife

Eine Feedback-Schleife liegt vor, wenn das Ergebnis eines Vorgangs auf den Vorgang selbst zurückwirkt. Ein einfaches Beispiel ist die Heizung mit Thermostat. Das Thermostat misst die Temperatur im Raum. Ist es zu kalt, heizt es stärker. Dadurch steigt die Temperatur, und genau diese Temperatur misst das Thermostat gleich wieder. Das Ergebnis wird also zur neuen Eingabe, immer im Kreis. Solche Kreise gibt es in der Natur, in der Wirtschaft und eben auch in Computersystemen, die aus Daten lernen.

Warum lernende Systeme ohne Rückmeldung stehen bleiben

Ein Computerprogramm, das aus Daten Muster lernt, wird oft Modell genannt. Ein solches Modell weiß von sich aus nicht, ob seine Antworten gut waren. Es braucht ein Signal von außen. Genau dieses Signal liefert eine Feedback-Schleife. Ohne sie bleibt ein System auf dem Stand des Tages, an dem es gebaut wurde.

Deshalb ist der Zugang zu Rückmeldungen für Firmen ein wirtschaftlicher Vorteil. Wer viele Nutzer hat, sammelt viele Hinweise darauf, was funktioniert. Damit wird das Produkt besser, was wiederum mehr Nutzer anzieht. Fachleute sprechen hier vom Datenvorteil. Er erklärt, warum große Anbieter ihren Vorsprung oft halten können.

Die gleiche Mechanik kann aber auch schaden. Wenn ein System systematisch danebenliegt und diese Fehler ungeprüft zurückfließen, verstärken sie sich. Ein Empfehlungssystem, das jemandem einmal extreme Videos zeigt, lernt aus den Klicks, dass genau das gewünscht ist. Es zeigt beim nächsten Mal noch mehr davon. Man nennt das eine sich selbst verstärkende Schleife.

Vom Nutzerklick zurück ins Modell

Der Kreislauf hat meist vier Stationen. Erstens gibt das System etwas aus, etwa eine Antwort oder eine Empfehlung. Zweitens reagiert jemand darauf: durch einen Klick, einen Daumen nach oben, eine Korrektur oder einen Abbruch. Drittens wird diese Reaktion gespeichert und ausgewertet. Viertens fließt sie in die nächste Trainingsrunde ein und verändert das Verhalten des Systems.

Bei Chatbots läuft das oft über ein Verfahren mit dem Kürzel RLHF, ausgeschrieben Reinforcement Learning from Human Feedback. Menschen bewerten dabei mehrere Antworten des Modells und ordnen sie nach Qualität. Aus diesen Bewertungen entsteht ein zweites Modell, das gute Antworten von schlechten unterscheiden soll. Das Hauptmodell wird dann darauf getrimmt, dieses Bewertungsmodell zufriedenzustellen.

Wichtig ist die Trennung zweier Zeitebenen. Manche Schleifen laufen sofort: Du korrigierst eine Autovervollständigung, und der Vorschlag ändert sich noch im selben Gespräch. Andere laufen langsam. Die Bewertungen von Millionen Nutzern werden gesammelt und erst Monate später in ein neues Modell eingebaut. Ein häufiger Irrtum ist die Annahme, ein Chatbot lerne dauerhaft aus jedem einzelnen Gespräch. Meist tut er das nicht.

Von Spotify bis zum Modellkollaps

Im Alltag begegnest du Feedback-Schleifen ständig. Streamingdienste schlagen Musik vor und messen, ob du weiterhörst oder überspringst. Kartendienste sagen Staus vorher und beobachten, wie schnell die Nutzer tatsächlich vorankommen. Spamfilter lernen aus jeder E-Mail, die du als unerwünscht markierst. In allen Fällen ist deine Reaktion der Treibstoff des Systems.

In Nachrichten über KI taucht der Begriff derzeit häufig in einer besonderen Variante auf. Immer mehr Texte und Bilder im Internet stammen selbst von KI-Systemen. Neue Modelle werden mit diesen Daten trainiert und lernen also von ihren eigenen Ausgaben. Forscher nennen das Modellkollaps: Die Qualität sinkt langsam ab, weil Fehler und Eintönigkeit sich über die Generationen aufschaukeln.

Deshalb bauen Unternehmen bewusst Bremsen in ihre Schleifen ein. Dazu gehören stichprobenartige Prüfungen durch Menschen, Testgruppen ohne Personalisierung und Datenquellen, die nachweislich von Menschen stammen. Eine Feedback-Schleife ist also weder gut noch schlecht. Entscheidend ist, welches Signal man hineingibt und wer den Kreislauf kontrolliert.