Ground Truth

Wer prüfen will, ob eine Antwort stimmt, braucht eine Lösung zum Vergleichen. Genau das ist Ground Truth: die Angabe, die als korrekt gilt. Auf einem Foto ist das zum Beispiel der Vermerk „hier ist ein Hund zu sehen“, von einem Menschen geprüft. Bei einer Wetterprognose ist es das Wetter, das später tatsächlich eintritt. Man vergleicht also die Ausgabe einer Maschine mit dieser festgelegten Lösung und zählt die Treffer. Der englische Ausdruck bedeutet wörtlich „Wahrheit am Boden“ und stammt aus der Landvermessung: Satellitenbilder wurden mit Messungen vor Ort abgeglichen.

Ohne geprüfte Antworten kein messbarer Fortschritt

Ein Programm, das aus Beispielen lernt, braucht diese Beispiele mit der jeweils richtigen Lösung. Sonst weiß es nicht, in welche Richtung es sich verbessern soll. Dasselbe gilt für die spätere Prüfung. Sätze wie „das Modell erkennt 94 Prozent korrekt“ ergeben nur Sinn, wenn jemand vorher festgelegt hat, was korrekt heißt.

Deshalb ist die Qualität dieser Referenz oft wichtiger als die Rechenleistung. Sind fünf Prozent der Beispiele falsch beschriftet, übernimmt das lernende System diese Fehler. Es hält sie für die Regel und wiederholt sie zuverlässig. In der Praxis stecken viele scheinbare Modellfehler in Wahrheit in den Daten.

Ein zweites Problem ist Einseitigkeit. Wurden Gesichter überwiegend von hellhäutigen Personen beschriftet, funktioniert die Erkennung bei anderen Menschen schlechter. Das Modell ist nicht „unfair“ geworden, es hat nur genau das gelernt, was man ihm als Wahrheit vorgelegt hat.

Wie die richtige Antwort überhaupt entsteht

Im einfachsten Fall beschriften Menschen die Daten von Hand. Sie ziehen Rahmen um Fußgänger auf Videobildern oder markieren Kommentare als beleidigend. Diese Arbeit heißt Annotation oder Labeling und ist teuer. Große Bilddatensätze enthalten Millionen solcher Einträge.

Damit die Beschriftung verlässlich ist, sehen mehrere Personen dasselbe Beispiel. Stimmen sie überein, gilt die Angabe als sicher. Weichen sie voneinander ab, entscheidet eine Fachperson oder das Beispiel fliegt raus. Wie stark die Beurteilenden übereinstimmen, wird als eigene Kennzahl berichtet.

Manchmal liefert die Realität die Lösung von selbst. Ob ein Kredit zurückgezahlt wurde, steht nach drei Jahren fest. Ob jemand auf eine Anzeige geklickt hat, ist protokolliert. Solche automatisch entstehenden Referenzdaten sind billig, aber nicht immer das, was man eigentlich messen wollte. Ein Klick bedeutet nicht, dass die Anzeige gut war. Wichtig ist außerdem: Ground Truth ist nicht immer die objektive Wahrheit, sondern oft nur die beste verfügbare Festlegung. Ob ein Text „höflich“ klingt, ist Auslegungssache.

Von Fahrassistenten bis zum Chatbot-Ranking

Beim autonomen Fahren werden Kamerabilder mit Laserscannern und Handarbeit abgeglichen, um exakt festzuhalten, wo Autos und Radfahrer standen. In der Medizin gilt oft der Befund einer Gewebeprobe als Referenz für ein Röntgenbild. In beiden Fällen ist die Beschaffung dieser Daten der aufwendigste Teil des Projekts.

Auch die bekannten Ranglisten für Sprachmodelle beruhen darauf. Ein Test wie eine Sammlung von Schulaufgaben enthält zu jeder Frage die Musterlösung. Der Prozentwert in einer Pressemitteilung ist der Anteil der Treffer gegen diese Lösungen. Weil solche Aufgaben im Internet stehen, können sie versehentlich ins Training geraten. Dann wirkt ein Modell stärker, als es ist. Fachleute nennen das Kontamination.

Bei offenen Texten gibt es oft keine einzige richtige Antwort. Dort ersetzt man die feste Lösung durch Bewertungen von Menschen, die zwei Antworten vergleichen. Wenn du in News liest, ein Modell erreiche einen bestimmten Wert, lohnt die Rückfrage: Woran wurde gemessen? Wer hat die Lösungen festgelegt?