Ground-Truth-Funktion

Ein Computerprogramm, das aus Beispielen lernt, bekommt Aufgaben mit bekannter Lösung vorgelegt. Zu einem Foto gehört die Antwort „Hund“, zu einer Wohnung der tatsächlich gezahlte Kaufpreis. Man stellt sich vor, dass hinter all diesen Paaren eine feste Regel steckt: Sie ordnet jeder möglichen Eingabe die eine richtige Ausgabe zu. Diese gedachte perfekte Regel heißt Ground-Truth-Funktion, auf Deutsch etwa Grundwahrheit. Niemand kann sie aufschreiben, denn sie umfasst unendlich viele Fälle. Sichtbar sind immer nur die Beispiele, die man gesammelt hat.

Der Maßstab, an dem sich jedes Modell messen lassen muss

Ohne diesen gedachten Maßstab gäbe es kein „richtig“ und kein „falsch“. Erst weil man annimmt, dass es eine wahre Zuordnung gibt, kann man den Fehler eines Programms überhaupt beziffern. Der Abstand zwischen der Antwort des Modells und der wahren Antwort ist die Grundlage jeder Bewertung. Alle Kennzahlen wie Trefferquote oder Fehlerrate leiten sich daraus ab.

Wichtig ist eine Unterscheidung, die oft untergeht. Die Ground-Truth-Funktion ist das Ideal, die Trainingsdaten sind nur ein winziger Ausschnitt davon. Ein Modell, das die Trainingsbeispiele auswendig lernt, hat die Funktion dahinter nicht verstanden. Es fällt sofort durch, sobald ein neuer Fall kommt. Fachleute nennen dieses Auswendiglernen Überanpassung.

Ein zweiter Punkt betrifft die Praxis. In vielen echten Datensätzen sind die Beschriftungen fehlerhaft. Menschen haben Fotos falsch etikettiert, Messgeräte ungenau gemessen. Dann weicht das, was man Ground Truth nennt, selbst schon von der wahren Regel ab. Das Modell lernt die Fehler brav mit.

Von einzelnen Beispielen zur allgemeinen Regel

Stell dir einen Physikunterricht vor, in dem ein Naturgesetz gesucht wird. Auf dem Papier stehen zwölf Messpunkte, das Gesetz selbst steht nirgends. Die Schüler legen eine Kurve durch die Punkte und hoffen, damit auch die Punkte zu treffen, die sie nie gemessen haben. Genau in dieser Lage ist ein lernendes Programm. Die zwölf Punkte sind die Trainingsdaten, das Gesetz ist die Ground-Truth-Funktion.

Technisch läuft das so ab. Das Modell macht eine Vorhersage, man vergleicht sie mit der bekannten richtigen Antwort. Die Abweichung wird als Zahl berechnet, dem sogenannten Verlust. Anschließend verschiebt ein Verfahren die internen Stellschrauben des Modells minimal in die Richtung, die den Verlust kleiner macht. Millionenfach wiederholt nähert sich das Modell der gesuchten Regel an.

Eine perfekte Annäherung ist dabei nicht das Ziel. Reale Daten enthalten Zufall und Rauschen, das nicht zur eigentlichen Regel gehört. Wer jeden Messpunkt exakt trifft, hat meistens auch das Rauschen mitgelernt. Deshalb hält man einen Teil der Daten zurück und testet damit am Ende. Nur auf ungesehenen Daten zeigt sich, wie nah man der Grundwahrheit wirklich gekommen ist.

Wo die Grundwahrheit in echten Projekten herkommt

Am sichtbarsten wird das Thema bei der Datenbeschriftung. Firmen beschäftigen große Teams, die Straßenszenen für selbstfahrende Autos markieren: Fußgänger, Ampeln, Fahrbahnränder. Diese Markierungen gelten dann als Ground Truth für das Training. In der Medizin bewerten mehrere Ärzte dasselbe Röntgenbild, und die Mehrheitsmeinung wird als wahre Antwort festgelegt.

Bei Sprachmodellen ist die Lage schwieriger. Zur Frage „Schreib mir eine Bewerbung“ gibt es keine einzige richtige Antwort. Hier existiert keine klare Ground-Truth-Funktion, und man behilft sich mit menschlichen Bewertungen von Vorschlägen. Das erklärt, warum sich Fortschritte bei Chatbots viel schlechter messen lassen als bei Bilderkennung.

In Fachartikeln und Produktmeldungen taucht der Begriff meist in einem Nebensatz auf: „gemessen gegen die Ground Truth“. Wer ihn liest, sollte zwei Fragen stellen. Wer hat diese Grundwahrheit festgelegt, und wie zuverlässig ist sie? Ein Rekordwert auf einem schlecht beschrifteten Datensatz sagt wenig aus.