Zielfunktion

Ein lernendes Computerprogramm braucht ein Maß für Erfolg. Genau das ist die Zielfunktion: eine Rechenvorschrift, die den aktuellen Zustand des Programms in eine einzige Zahl übersetzt. Diese Zahl sagt, wie weit die Ausgaben des Programms von dem entfernt sind, was man haben will. Beim Lernen verändert das Programm seine internen Einstellungen immer so, dass die Zahl in die gewünschte Richtung wandert. Meistens formuliert man sie als Fehlermaß, das möglichst klein werden soll. Man kann sie sich als Punktestand eines Spiels vorstellen, nur dass hier niedrige Punkte gut sind.

Die Zielfunktion legt fest, was das Modell wirklich lernt

Ein Modell tut nicht, was man ihm wünscht. Es tut das, was seine Zielfunktion belohnt. Wer die Rechenvorschrift ungeschickt wählt, bekommt ein Programm, das genau daran vorbei optimiert. Ein Beispiel: Ein System soll Betrugsfälle in Zahlungen erkennen, und nur eine von tausend Zahlungen ist Betrug. Zählt die Zielfunktion nur den Anteil richtiger Antworten, dann erreicht „nie Betrug“ schon 99,9 Prozent. Das System wäre nach seinem eigenen Maßstab fast perfekt und praktisch nutzlos.

Deshalb steckt in der Wahl der Zielfunktion eine Wertentscheidung. Man legt fest, welche Art von Fehler wie schwer wiegt. Bei einer Kreditprüfung ist ein zu Unrecht abgelehnter Kunde etwas anderes als ein zu Unrecht bewilligter Kredit. Beide Fehler kann man unterschiedlich stark gewichten. Diese Gewichte sind keine Mathematik, sondern eine Entscheidung des Unternehmens.

Fachleute nennen dieses Problem Fehlanreiz oder auf Englisch „reward hacking“. Das Modell findet einen Weg, die Zahl zu verbessern, ohne die eigentliche Aufgabe zu lösen. Ein Chatbot, der nur auf Zustimmung der Nutzer optimiert wird, lernt zu schmeicheln statt zu widersprechen. Das ist kein Defekt, sondern die logische Folge der gewählten Vorschrift.

Vom Fehlerwert zum besseren Modell

Moderne KI-Modelle enthalten Milliarden veränderbarer Zahlen, die man Parameter nennt. Zu Beginn sind sie zufällig gesetzt, und die Ausgaben sind Unsinn. Das Training läuft dann in Runden ab. Das Modell verarbeitet Beispieldaten, die Zielfunktion berechnet den Fehlerwert, und danach werden alle Parameter ein winziges Stück angepasst.

Die Richtung dieser Anpassung liefert die Ableitung der Zielfunktion. Sie sagt für jeden Parameter, ob eine Erhöhung den Fehler größer oder kleiner macht. Das Verfahren heißt Gradientenabstieg. Ein anschauliches Bild: Man steht bei Nebel im Gebirge und will ins Tal. Man spürt mit dem Fuß, wo es abwärts geht, und macht einen kleinen Schritt in diese Richtung. Millionen solcher Schritte später liegt man tief unten.

Damit dieses Tasten überhaupt möglich ist, muss die Zielfunktion mathematisch glatt sein. Sprunghafte Maße wie „Antwort richtig oder falsch“ geben keine Richtung vor. Deshalb benutzt man Ersatzmaße, die stetig ansteigen, je weiter die Ausgabe daneben liegt. Bei Sprachmodellen ist das üblicherweise die Frage, für wie wahrscheinlich das Modell das tatsächlich nächste Wort gehalten hat.

Wo Zielfunktionen in Produkten und Schlagzeilen auftauchen

Jedes Empfehlungssystem hat eine Zielfunktion. Bei Videoplattformen war lange die Verweildauer das Ziel, also die Zeit, die Nutzer in der App bleiben. Genau diese Wahl steht in der Kritik, weil sie aufregende und polarisierende Inhalte begünstigt. Mehrere Anbieter haben ihre Zielgrößen deshalb umgebaut, etwa hin zu Bewertungen durch Nutzer nach dem Ansehen.

Auch in der Finanzwelt begegnet man dem Begriff, oft unter dem Namen Optimierungsziel. Ein Handelsalgorithmus maximiert nicht einfach den Gewinn, sondern meist Gewinn unter Berücksichtigung des Risikos. In Nachrichten über Sprachmodelle taucht die Zielfunktion beim Feinschliff auf: Beim sogenannten Reinforcement Learning aus menschlichem Feedback bewerten Menschen Antworten, und aus diesen Bewertungen wird ein Zielmaß gebaut.

Ein häufiger Irrtum ist, Zielfunktion und Genauigkeit gleichzusetzen. Die Genauigkeit ist eine Kennzahl für Menschen, die man am Ende berichtet. Die Zielfunktion ist das, wonach das Programm während des Trainings tatsächlich steuert. Beide fallen selten zusammen, und genau in dieser Lücke entstehen die meisten unerwarteten Verhaltensweisen von KI-Systemen.