Loss-Funktion

Wenn ein Computerprogramm aus Beispielen lernen soll, braucht es eine Rückmeldung. Es muss wissen, wie falsch seine Antwort war. Die Loss-Funktion ist die Rechenvorschrift, die genau das misst. Sie vergleicht die Antwort des Programms mit der richtigen Antwort aus den Beispieldaten. Heraus kommt eine einzige Zahl: klein bedeutet fast richtig, groß bedeutet weit daneben. Das englische Wort „loss“ heißt Verlust, deshalb sagt man auf Deutsch auch Verlustfunktion.

Die Zahl, die das Lernen überhaupt erst möglich macht

Ohne eine solche Messzahl wüsste ein Programm nicht, in welche Richtung es sich verbessern soll. Ein Mensch kann sagen „das Bild zeigt doch klar einen Hund“. Ein Rechner kann damit nichts anfangen. Er braucht einen Zahlenwert, den er hoch- oder runterrechnen kann. Die Loss-Funktion übersetzt also ein vages „das war falsch“ in eine präzise Größe.

Die Wahl der Loss-Funktion entscheidet mit darüber, was ein Programm am Ende gut kann. Sie legt fest, welche Fehler als schlimm gelten und welche als harmlos. Bestraft man große Abweichungen besonders hart, wird das Ergebnis vorsichtig und meidet Ausreißer. Zählt jeder Fehler gleich viel, entsteht ein anderes Verhalten. Fachleute sagen deshalb: Was du misst, das bekommst du auch.

Daraus folgt ein bekanntes Problem. Ein System optimiert immer exakt die Zahl, die man ihm vorgibt, nicht das, was man eigentlich wollte. Wer bei einem Empfehlungssystem nur die Klickzahl misst, bekommt reißerische Überschriften. Die Loss-Funktion ist also nicht bloß Technik, sondern eine Entscheidung über Ziele.

Vom Fehlerwert zurück zu den Stellschrauben

Ein neuronales Netz, also ein KI-Modell aus vielen Rechenschritten, enthält Millionen bis Milliarden einstellbarer Zahlen. Diese Zahlen heißen Parameter oder Gewichte. Am Anfang sind sie zufällig gesetzt, die Antworten entsprechend unsinnig. Das Training zeigt dem Modell ein Beispiel, berechnet den Loss und passt danach alle Gewichte ein winziges Stück an.

Ein Bild dafür: Der Loss ist eine Landschaft mit Bergen und Tälern. Jeder mögliche Satz von Gewichten ist ein Punkt darin, die Höhe ist der Fehler. Gesucht wird der tiefste Punkt. Das Verfahren tastet, in welche Richtung es bergab geht, und macht einen kleinen Schritt dorthin. Dieses schrittweise Abwärtsgehen nennt man Gradientenabstieg.

Welche Formel man nimmt, hängt von der Aufgabe ab. Soll ein Modell einen Zahlenwert schätzen, etwa einen Immobilienpreis, nimmt man oft den mittleren quadratischen Fehler. Er quadriert die Abweichung, große Fehler wiegen dadurch deutlich schwerer. Bei Aufgaben mit festen Kategorien, etwa Hund oder Katze, verwendet man meist die Kreuzentropie. Sie bestraft ein Modell besonders dann, wenn es sich sehr sicher ist und trotzdem irrt.

Loss-Kurven in Forschungsberichten und Produkten

In Fachartikeln und Firmenblogs sieht man oft Diagramme mit einer fallenden Kurve. Auf der einen Achse steht die Trainingsdauer, auf der anderen der Loss. Fällt die Kurve stetig, läuft das Training. Bleibt sie flach oder springt sie wild, stimmt etwas nicht. Solche Kurven sind für Entwickler das wichtigste Kontrollinstrument während des Trainings.

Wichtig ist die Unterscheidung zwischen zwei Kurven. Der Trainingsloss misst den Fehler auf den bekannten Übungsdaten. Der Validierungsloss misst ihn auf Daten, die das Modell nie gesehen hat. Sinkt der erste weiter, während der zweite steigt, hat das Modell die Übungsdaten auswendig gelernt. Dieses Auswendiglernen heißt Overfitting und ist einer der häufigsten Fehler beim Training.

Ein verbreiteter Irrtum: Ein niedriger Loss bedeute automatisch ein gutes Produkt. Das stimmt nicht. Der Loss misst nur, was seine Formel misst. Ob Antworten hilfreich, sicher oder fair sind, steht dort meist nicht drin. Deshalb prüfen Unternehmen ihre Modelle zusätzlich mit Tests und mit Bewertungen durch Menschen, bevor sie ein System veröffentlichen.