Soft Labels

Damit ein Computerprogramm Bilder oder Texte einordnen lernt, braucht es Übungsbeispiele mit der jeweils richtigen Antwort. Diese beigelegte Antwort nennt man in der Fachsprache ein Label. Normalerweise ist ein Label eindeutig: auf diesem Bild ist ein Husky, Punkt. Bei Soft Labels ist die Antwort dagegen aufgeteilt. Das Beispiel gilt zu 80 Prozent als Husky, zu 15 Prozent als Wolf und zu 5 Prozent als Schäferhund. Die harte Entweder-oder-Vorgabe wird also durch eine Verteilung ersetzt, die Unsicherheit ausdrücken kann.

Was eindeutige Antworten verschweigen

Die Welt ist selten eindeutig. Ein verwackeltes Foto zeigt vielleicht wirklich einen Husky, sieht aber einem Wolf zum Verwechseln ähnlich. Ein eindeutiges Label behauptet trotzdem: hundert Prozent Husky, null Prozent Wolf. Das Programm lernt daraus eine Sicherheit, die es gar nicht haben kann.

Solche übertriebene Sicherheit ist ein bekanntes Problem. Fachleute sprechen von Überkonfidenz: Das Modell gibt für seine Antwort 99 Prozent Sicherheit an und liegt trotzdem falsch. Wer sich auf diese Zahl verlässt, etwa in der Medizin oder bei einer automatischen Prüfung von Dokumenten, wird in die Irre geführt. Soft Labels dämpfen diesen Effekt, weil das Modell von Anfang an lernt, dass manche Fälle mehrdeutig sind.

Ein zweiter Vorteil ist die zusätzliche Information. Die Angabe “15 Prozent Wolf” verrät, welche Klassen sich ähneln. Ein hartes Label sagt nur, was falsch ist, aber nicht, wie falsch. Deshalb lernen Modelle aus Soft Labels oft mit weniger Beispielen dasselbe.

Woher die Prozentzahlen kommen

Eine Quelle sind Menschen. Lässt man zwanzig Personen dasselbe Bild einordnen und stimmen sechzehn für Husky und vier für Wolf, entsteht daraus direkt ein Soft Label von 80 zu 20. Die Meinungsverschiedenheit der Bewerter wird so nicht weggeworfen, sondern zum Lernstoff. Bei klassischen Datensätzen wird stattdessen die Mehrheit genommen und der Rest verworfen.

Die häufigere Quelle ist ein anderes Modell. Man lässt ein großes, teures Modell alle Trainingsbeispiele beurteilen und schreibt dessen Wahrscheinlichkeiten als neue Labels auf. Ein kleines Modell trainiert dann auf diesen Werten. Dieses Verfahren heißt Wissensdestillation, weil das Wissen des großen Modells in ein kleineres überführt wird. Das große Modell wird dabei Lehrer genannt, das kleine Schüler.

Es gibt noch eine simple Variante namens Label Smoothing. Dabei nimmt man ein hartes Label und verteilt einen kleinen Anteil, etwa ein Zehntel, gleichmäßig auf alle anderen Klassen. Aus 100 Prozent Husky werden dann 90 Prozent Husky und ein bisschen von allem anderen. Das kostet fast nichts und reduziert Überkonfidenz messbar. Verwechseln sollte man es aber nicht mit echten Soft Labels, denn hier steckt keine zusätzliche Information über Ähnlichkeiten drin.

Soft Labels in heutigen KI-Produkten

Am sichtbarsten sind Soft Labels bei den kleinen Varianten großer Sprachmodelle. Fast jeder Anbieter verkauft neben dem Spitzenmodell eine schnellere, billigere Version für den Massenbetrieb. Diese kleinen Modelle entstehen meist per Destillation, also durch Training auf den weichen Ausgaben des großen Geschwistermodells. Genau deshalb laufen manche Assistenten heute auf einem Handy.

In der Bildverarbeitung tauchen Soft Labels bei unsicheren Aufnahmen auf. Ein System zur Erkennung von Hautveränderungen liefert nicht “bösartig”, sondern eine Wahrscheinlichkeit. Ärztinnen und Ärzte können damit entscheiden, ob eine weitere Untersuchung nötig ist. Ein Modell, das nur harte Urteile ausspuckt, wäre für diesen Zweck unbrauchbar.

In Nachrichten begegnet dir der Begriff meist als Streitpunkt. Wenn ein Unternehmen ein Modell mit den Ausgaben eines fremden Modells trainiert, verletzt das oft die Nutzungsbedingungen des Anbieters. Solche Vorwürfe rund um Destillation haben 2025 mehrfach für Schlagzeilen gesorgt. Der harmlose technische Kern dahinter sind genau diese weichen Zielwerte.