Model Overhang

Ein Computerprogramm, das Texte schreibt oder Bilder erkennt, wird zunächst mit riesigen Datenmengen angelernt. Danach steht fest, was es prinzipiell kann. Trotzdem weiß niemand sofort, wie viel darin steckt. Model Overhang bezeichnet genau diesen Überhang: den Vorrat an Fähigkeiten, der schon im fertigen System liegt, aber noch nicht genutzt wird. Man kann sich das wie einen gut ausgestatteten Werkzeugkasten vorstellen, dessen Besitzer nur den Hammer benutzt. Der Rest ist da, er wurde nur noch nicht ausprobiert.

Warum der Vorrat gefährlich und wertvoll gleichzeitig ist

Wenn ein Überhang existiert, können Fähigkeiten plötzlich auftauchen, ohne dass etwas Neues gebaut wurde. Das macht Fortschritt sprunghaft statt gleichmäßig. Für Unternehmen ist das eine Chance: Sie können aus einem bereits bezahlten System mehr Leistung holen, ohne teuer neu zu trainieren. Für Aufsichtsbehörden ist es ein Problem, denn ein System, das heute geprüft und für harmlos erklärt wurde, kann morgen mehr können.

Ein häufiger Irrtum ist, den Überhang mit einem Update zu verwechseln. Bei einem Update ändert sich die Software selbst. Beim Overhang bleibt das System unverändert, nur die Art der Benutzung wird besser. Genau deshalb ist er schwer zu messen. Man weiß erst, wie groß er war, wenn jemand ihn ausgeschöpft hat.

Auch in Börsen-Nachrichten spielt der Begriff eine Rolle. Anleger fragen, ob ein Anbieter seinen Vorsprung wirklich verliert, wenn Konkurrenten mit kleineren Systemen ähnliche Ergebnisse erzielen. Oft holen die Konkurrenten nur den Überhang ihrer eigenen Systeme ein.

Was den Überhang entstehen lässt

Beim Anlernen sieht ein System Milliarden von Beispielsätzen. Es lernt dabei Zusammenhänge, die niemand geplant hat. Welche das sind, steht in keiner Dokumentation. Deshalb entdecken Forscher Fähigkeiten meist nachträglich, durch systematisches Ausprobieren.

Ein großer Teil des Überhangs lässt sich allein durch bessere Fragen heben. Wer eine Aufgabe in Zwischenschritte zerlegt und das System auffordert, laut mitzudenken, bekommt bei Mathematikaufgaben deutlich mehr richtige Antworten. Das System ist dasselbe geblieben. Nur die Anweisung war besser. Diese Technik nennt man Gedankenkette, englisch Chain of Thought.

Weitere Hebel sind Zusatzwerkzeuge und mehr Rechenzeit im Betrieb. Gibt man dem System einen Taschenrechner, eine Suchfunktion oder Zugriff auf Firmendokumente, wächst der praktische Nutzen stark. Lässt man es mehrere Lösungswege durchrechnen und den besten auswählen, steigt die Trefferquote weiter. Auch ein kurzes Nachtrainieren mit wenigen tausend guten Beispielen kann verborgene Fähigkeiten sichtbar machen.

Der Überhang in Produkten und Debatten

Am deutlichsten sieht man ihn bei Chat-Assistenten. Zwei Menschen benutzen dasselbe Programm, und einer bekommt viel brauchbarere Ergebnisse. Der Unterschied liegt nicht im Programm, sondern in der Bedienung. Genau deshalb gibt es inzwischen Kurse und Handbücher zum Formulieren guter Anweisungen.

In der Sicherheitsdebatte ist der Begriff ein Standardargument. Kritiker sagen: Ein Sicherheitstest vor der Veröffentlichung reicht nicht, weil Nutzer später Wege finden, mehr aus dem System zu holen. Der europäische KI-Rechtsrahmen verlangt daher eine laufende Beobachtung nach dem Marktstart, nicht nur eine Prüfung davor.

Verwandt, aber nicht identisch ist der Hardware-Überhang. Damit meint man Rechenchips, die längst leistungsfähig genug für sehr große Systeme wären, aber noch nicht dafür eingesetzt werden. Model Overhang bezieht sich dagegen auf ein konkretes, bereits existierendes System. Wer die beiden Begriffe in Nachrichten liest, sollte sie auseinanderhalten.