Seesaw-Modell

Beim Training eines KI-Modells — also dem Prozess, bei dem ein System aus vielen Beispielen lernt — passiert oft etwas Unerwünschtes: Macht man das Modell in einer Fähigkeit besser, wird es in einer anderen schlechter. Dieses Phänomen heißt Seesaw-Modell, nach dem englischen Wort für Wippe. Wie bei einer Wippe geht eine Seite hoch, wenn die andere runtergeht. Das Modell kann nicht beide Seiten gleichzeitig oben halten. Das klingt zunächst wie ein kleines technisches Problem, ist aber einer der hartnäckigsten Konflikte bei der Entwicklung moderner KI-Systeme.

Der Preis eines besseren Modells

Das Seesaw-Problem taucht auf, sobald ein Modell mehrere verschiedene Aufgaben gleichzeitig beherrschen soll. Soll dasselbe Modell präzise Fakten nennen und trotzdem flüssig, natürlich klingen? Soll es kurze Antworten geben, aber auch lange Texte strukturieren können? Jede dieser Anforderungen zieht das Training in eine andere Richtung.

In der Praxis zeigt sich das besonders deutlich bei sogenannten Benchmark-Tests — standardisierten Aufgaben, mit denen Forscher KI-Modelle vergleichen. Ein Modell, das auf einem Benchmark gezielt trainiert wird, schneidet dort besser ab, verliert aber oft Punkte auf einem anderen. Die Entwickler von KI-Systemen stehen deshalb vor einer ständigen Abwägung: Was opfern sie, um woanders zu gewinnen?

Warum die Wippe sich nicht einfach feststellen lässt

Der Grund für das Seesaw-Verhalten liegt im Training selbst. Ein Modell lernt, indem es Fehler macht und korrigiert wird. Jede Korrektur verändert das gesamte innere Geflecht des Modells — Millionen oder sogar Milliarden kleiner Einstellungen, sogenannte Parameter. Eine Anpassung zugunsten von Aufgabe A kann die Parameter so verschieben, dass Aufgabe B schlechter funktioniert. Es gibt kein getrenntes Fach für jede Fähigkeit, alles hängt zusammen.

Forscher versuchen, dieses Problem mit verschiedenen Methoden zu umgehen. Eine Möglichkeit ist, die Trainingsdaten sehr sorgfältig zu mischen, sodass keine Aufgabe die anderen verdrängt. Eine andere ist, das Modell in mehrere Phasen aufzuteilen: erst breites Grundtraining, dann gezieltes Feintuning — also eine Verfeinerung für bestimmte Aufgaben. Doch auch diese Ansätze lösen das Seesaw-Problem nicht vollständig, sie mildern es nur. Besonders beim Feintuning tritt ein verwandtes Problem auf, das sogenannte Vergessen: Das Modell verliert beim Lernen neuer Inhalte ältere Fähigkeiten.

Ein weiterer Ansatz kommt aus der Architektur: Mixture-of-Experts-Modelle — also Systeme, die für jede Anfrage nur bestimmte Teilbereiche aktivieren — könnten helfen, Fähigkeiten stärker zu trennen. Ob das die Wippe dauerhaft stabilisiert, ist noch Gegenstand der Forschung.

Seesaw-Effekte in realen Produkten und Debatten

Das Seesaw-Modell ist kein rein theoretisches Konzept — es taucht regelmäßig in der Berichterstattung über große KI-Systeme auf. Wenn ein Unternehmen eine neue Version seines Chatbots veröffentlicht und Nutzer bemerken, dass er bei bestimmten Aufgaben schlechter geworden ist, steckt oft ein Seesaw-Effekt dahinter. Openai erlebte das etwa mit verschiedenen GPT-Versionen, bei denen Nutzer nach Updates Leistungseinbußen in bestimmten Bereichen meldeten.

Auch im Wettbewerb zwischen KI-Unternehmen spielt das Phänomen eine Rolle. Wenn ein Modell auf einem Benchmark einen Rekord aufstellt, fragen Experten sofort: Auf welcher anderen Fähigkeit wurde dafür gespart? Ein Topergebnis auf einem einzelnen Test sagt wenig darüber aus, wie ausgewogen ein Modell insgesamt ist. Das Seesaw-Modell erklärt, warum es so schwer ist, in allen Disziplinen gleichzeitig führend zu sein.

Für Nutzer bedeutet das: Kein Modell ist in allem gleich gut. Welche Fähigkeiten ein Anbieter priorisiert hat, hängt von Entscheidungen ab, die im Training getroffen wurden — und diese Entscheidungen sind immer Kompromisse.