Human Intelligence Tasks
Human Intelligence Tasks sind kleine, klar umrissene Arbeitsaufträge, die Menschen gegen Bezahlung im Internet erledigen, weil Computer sie schlecht lösen. Sie liefern einen großen Teil der beschrifteten Daten, aus denen KI-Systeme lernen.
Human Intelligence Tasks sind winzige Arbeitsaufträge, die im Internet an Menschen verteilt werden. Der Name ist wörtlich gemeint: Es sind Aufgaben, für die man menschliches Urteilsvermögen braucht. Typische Beispiele sind das Markieren aller Fußgänger auf einem Foto, das Abtippen einer unleserlichen Quittung oder die Frage, ob ein Kommentar beleidigend ist. Eine einzelne Aufgabe dauert oft nur wenige Sekunden und wird mit wenigen Cent bezahlt. Vermittelt werden sie über Plattformen im Netz, auf denen sich Auftraggeber und Bearbeiter nie persönlich begegnen. Der Begriff stammt von Amazons Plattform Mechanical Turk, wird heute aber allgemein für diese Art von Kleinstaufträgen benutzt.
Der unsichtbare Rohstoff hinter KI-Modellen
Ein KI-System lernt aus Beispielen. Damit es lernen kann, was ein Verkehrsschild ist, muss ihm jemand vorher auf tausenden Bildern gezeigt haben, wo Verkehrsschilder sind. Genau diese Beschriftung von Daten passiert zu einem großen Teil durch Human Intelligence Tasks. Ohne diese menschliche Vorarbeit gäbe es die meisten heutigen Modelle nicht.
Der Bedarf ist enorm. Für ein einziges Bilderkennungssystem können Millionen einzelner Beschriftungen nötig sein. Der berühmte Datensatz ImageNet enthält über 14 Millionen beschriftete Bilder. Sortiert wurden sie ab 2007 von zehntausenden Menschen auf Mechanical Turk, verteilt über viele Länder.
Damit hängt an diesem Thema auch eine ernste Debatte. Viele Bearbeiter verdienen umgerechnet nur wenige Euro pro Stunde und haben keine feste Anstellung. Bei der Moderation von Inhalten müssen Menschen zudem Gewaltvideos oder Missbrauchsdarstellungen sichten, damit ein Filter sie später automatisch erkennt. Kritiker sprechen deshalb von versteckter Arbeit hinter angeblich vollautomatischen Systemen.
Vom Auftrag bis zur fertigen Beschriftung
Ein Auftraggeber lädt seine Daten auf eine Plattform und zerlegt die Arbeit in gleichartige Häppchen. Zu jedem Häppchen gehört eine kurze Anleitung und ein Preis. Die Bearbeiter suchen sich aus einer langen Liste aus, was sie annehmen wollen. Nach der Abgabe prüft der Auftraggeber das Ergebnis und zahlt aus oder lehnt ab.
Weil einzelne Menschen sich irren, lässt man dieselbe Aufgabe meist mehrfach bearbeiten. Drei oder fünf Personen beurteilen dasselbe Bild, und die Mehrheitsmeinung gilt als Ergebnis. Zusätzlich werden Kontrollaufgaben eingestreut, bei denen die richtige Antwort schon bekannt ist. Wer dort zu oft danebenliegt, wird aussortiert. Dieses Prinzip nennt man Qualitätssicherung durch Redundanz.
Ein verwandter, aber engerer Begriff ist Reinforcement Learning from Human Feedback, kurz RLHF. Dabei bewerten Menschen nicht Bilder, sondern vergleichen zwei Antworten eines Sprachmodells und wählen die bessere aus. Technisch sind das ebenfalls Human Intelligence Tasks, nur mit deutlich höheren Anforderungen an die Bearbeiter. Für heikle Fachgebiete wie Medizin oder Recht setzen Anbieter inzwischen ausgebildete Fachleute statt anonymer Gelegenheitsarbeiter ein.
Wo diese Kleinstaufträge im Alltag auftauchen
Am direktesten begegnet man dem Prinzip bei Captchas. Wenn eine Webseite fragt, auf welchen Kacheln ein Zebrastreifen zu sehen ist, prüft sie nicht nur, ob man ein Mensch ist. Die Antworten wurden jahrelang auch genutzt, um Kartendaten und Bilderkennung zu verbessern. Man erledigt dabei unbezahlt eine Aufgabe, für die andere Geld bekommen.
In Wirtschaftsnachrichten taucht das Thema unter Stichworten wie Datenannotation oder Clickwork auf. Firmen wie Scale AI, Appen oder Sama leben davon, solche Aufträge zu organisieren. Ihre Bewertungen sind in den letzten Jahren stark gestiegen, weil KI-Anbieter dringend hochwertige Trainingsdaten brauchen. Gleichzeitig gab es mehrfach Berichte über schlechte Arbeitsbedingungen in Kenia und auf den Philippinen.
Ein häufiger Irrtum ist die Annahme, KI werde diese Arbeit bald überflüssig machen. Bisher passiert das Gegenteil: Je leistungsfähiger die Modelle werden, desto anspruchsvoller und teurer werden die menschlichen Bewertungen, die man für den nächsten Schritt braucht.