Annotation

Annotation heißt: Menschen versehen Daten mit zusätzlichen Angaben. Auf einem Foto zieht jemand einen Rahmen um ein Fahrrad und schreibt „Fahrrad“ dazu. Bei einem Text markiert jemand, ob eine Kundenbewertung freundlich oder wütend klingt. Bei einer Tonaufnahme tippt jemand ab, was gesagt wurde. Diese Zusatzangaben nennt man Label, also Etiketten. Sie sind die richtige Lösung, an der ein Computerprogramm sein Ergebnis messen kann.

Warum Modelle ohne Etiketten blind bleiben

Ein lernendes Programm braucht Rückmeldung. Es rät zuerst, vergleicht dann sein Ergebnis mit dem Label und korrigiert sich. Ohne Label gibt es nichts zu vergleichen. Rohe Daten sind also billig, aber für sich genommen oft wertlos. Der eigentliche Wert entsteht erst durch die Beschriftung.

Deshalb ist Annotation ein großer Kostenblock. Ein Bild zu fotografieren dauert eine Sekunde, es sauber zu markieren mehrere Minuten. Bei medizinischen Aufnahmen muss sogar eine Ärztin ran, und die Stunde kostet entsprechend. Große Unternehmen beschäftigen dafür Tausende Menschen, häufig in Ländern mit niedrigen Löhnen. Die Arbeitsbedingungen dieser Beschäftigten sind regelmäßig Thema in Medienberichten.

Qualität schlägt dabei Menge. Falsche Labels bringen dem Modell systematisch etwas Falsches bei. Ein bekanntes Beispiel: Wenn auf allen annotierten Wolfsbildern Schnee liegt, lernt das Modell womöglich „Schnee“ statt „Wolf“. Solche Fehler fallen erst auf, wenn das fertige System in der Praxis versagt.

Vom Rohbild zum beschrifteten Datensatz

Am Anfang steht ein Regelwerk, die Annotationsrichtlinie. Sie legt fest, was genau markiert wird. Zählt ein Motorroller als Motorrad? Gehören die Räder mit in den Rahmen? Ohne solche Vorgaben beschriftet jeder Mitarbeiter anders, und das Ergebnis wird unbrauchbar.

Danach arbeiten die Annotatoren in einer speziellen Software. Sie ziehen Rahmen, malen Umrisse aus oder wählen Kategorien aus einer Liste. Ein Teil der Daten wird bewusst doppelt bearbeitet. Stimmen zwei Personen selten überein, ist meist die Richtlinie unklar. Diese Übereinstimmung wird als Kennzahl gemessen und dient als Qualitätskontrolle.

Um Zeit zu sparen, lässt man oft ein vorhandenes Modell vorarbeiten. Es macht einen Vorschlag, der Mensch bestätigt oder korrigiert ihn nur noch. Ein verwandter Ansatz heißt aktives Lernen: Das Modell meldet, bei welchen Fällen es besonders unsicher ist, und genau die werden von Hand beschriftet. Beides senkt die Kosten deutlich, ersetzt den Menschen aber nicht.

Annotation in Chatbots, Autos und Stellenanzeigen

Bei Sprachmodellen wie ChatGPT steckt Annotation in einer besonderen Form drin. Testpersonen bekommen mehrere Antwortentwürfe und ordnen sie nach Qualität. Aus diesen Bewertungen lernt das System, welcher Ton erwünscht ist. Fachleute nennen das Verfahren RLHF, also Lernen aus menschlicher Rückmeldung. Auch die Entscheidung, welche Inhalte als gefährlich gelten, ist am Ende eine Annotationsentscheidung von Menschen.

Im Straßenverkehr ist der Zusammenhang sichtbarer. Für Fahrassistenzsysteme markieren Menschen auf Millionen Videobildern Fußgänger, Ampeln und Fahrbahnränder. Ähnliches passiert in der Medizin, wo Tumore auf Röntgenbildern umrandet werden. Auch Spamfilter und Übersetzungsdienste beruhen auf beschrifteten Beispielen.

Selbst wer nicht in der Branche arbeitet, annotiert regelmäßig mit. Jedes gelöste Bilderrätsel beim Login liefert Labels. Jeder Daumen hoch unter einer KI-Antwort ebenfalls. In Stellenanzeigen taucht der Beruf als „Data Annotator“ auf, und börsennotierte Dienstleister in diesem Feld werden in Wirtschaftsnachrichten als eigener Markt behandelt.