Hard Negatives

Computerprogramme, die aus Beispielen lernen, brauchen zwei Sorten von Beispielen. Sie brauchen richtige Fälle und sie brauchen falsche Fälle. Die falschen Fälle heißen im Fachjargon Negatives, also Gegenbeispiele. Die meisten Gegenbeispiele sind leicht zu durchschauen: Wer lernen soll, Katzen zu erkennen, hat mit einem Bild von einem Lastwagen kein Problem. Hard Negatives sind die schwierige Sorte. Das sind Gegenbeispiele, die dem Richtigen zum Verwechseln ähnlich sehen — etwa ein Fuchs statt einer Katze. Genau an solchen Fällen entscheidet sich, ob ein System wirklich etwas verstanden hat.

Warum leichte Gegenbeispiele nichts beibringen

Ein lernendes System sucht immer den bequemsten Weg. Wenn alle Gegenbeispiele offensichtlich falsch sind, findet es eine billige Abkürzung. Bei Katzen und Lastwagen genügt es vielleicht, auf Fell und Farbe zu achten. Das System liegt im Training fast immer richtig und wirkt sehr gut. In der echten Welt bricht es dann zusammen, sobald ein Hund im Bild ist.

Man kann sich das wie eine Klassenarbeit vorstellen, in der alle falschen Antworten offensichtlich Unsinn sind. Eine Eins in so einer Arbeit sagt nichts über das Können aus. Erst wenn die falschen Antworten plausibel klingen, misst der Test echtes Wissen. Für Trainingsdaten gilt dasselbe Prinzip.

Deshalb bringt es oft mehr, gezielt schwierige Gegenbeispiele zu sammeln, als einfach die Datenmenge zu verzehnfachen. Zehn Millionen langweilige Beispiele verbessern ein Modell manchmal kaum. Ein paar tausend gut gewählte Hard Negatives verschieben die Fehlerquote spürbar. Datenqualität schlägt hier Datenmenge.

Wie man schwierige Gegenbeispiele einsammelt

Der übliche Weg heißt Hard Negative Mining, also das Schürfen nach harten Fällen. Man trainiert zuerst eine erste Version des Modells mit normalen Daten. Dann lässt man dieses Modell große Datenmengen durchsehen. Überall dort, wo es sich sicher irrt, liegt ein Hard Negative. Diese Fälle sammelt man ein und trainiert damit die nächste Runde.

Bei Suchsystemen läuft das ähnlich. Man stellt eine Frage und schaut sich die Treffer an, die das System weit oben einsortiert. Die falschen darunter sind wertvoll, weil sie thematisch nah dran sind. Ein Text über Zinssenkungen ist ein hartes Gegenbeispiel zu einer Frage über Zinserhöhungen. Er teilt fast alle Wörter mit der richtigen Antwort und meint das Gegenteil.

Es gibt dabei eine Falle, die in der Praxis oft zuschlägt. Manche vermeintlich falschen Treffer sind in Wahrheit richtig, nur nicht als richtig markiert. Trainiert man das System darauf, sie abzulehnen, lernt es etwas Falsches. Fachleute sprechen dann von False Negatives. Deshalb werden geschürfte Hard Negatives häufig noch einmal von Menschen oder von einem zweiten Modell geprüft.

Hard Negatives in Suche, Gesichtserkennung und Chatbots

Am sichtbarsten sind Hard Negatives in Suchmaschinen und in der Produktsuche von Onlineshops. Wer nach kabellosen Kopfhörern sucht, soll keine Kabelkopfhörer bekommen. Die beiden Produkte unterscheiden sich in der Beschreibung nur in wenigen Wörtern. Solche Paare werden gezielt ins Training gegeben, damit das System den Unterschied ernst nimmt.

Auch bei Gesichts- und Spracherkennung ist das Prinzip zentral. Zwei Geschwister sehen sich ähnlicher als zwei zufällige Personen. Ein Erkennungssystem, das nur mit zufälligen Paaren trainiert wurde, verwechselt sie zuverlässig. Dasselbe gilt für Betrugserkennung bei Banken: Die gefährlichen Fälle sind die, die wie normale Überweisungen aussehen.

In Nachrichten über KI taucht der Begriff meist im Zusammenhang mit Retrieval auf, also mit Systemen, die für einen Chatbot passende Dokumente heraussuchen. Firmen berichten dann, sie hätten ihre Suchqualität durch besseres Hard Negative Mining verbessert. Gemeint ist fast immer dasselbe: Nicht das Modell wurde größer, sondern die Trainingsbeispiele wurden gemeiner.