Multi-Task Learning
Multi-Task Learning bezeichnet ein Verfahren, bei dem ein einzelnes Computerprogramm mehrere Aufgaben gleichzeitig lernt statt jede für sich. Die Aufgaben teilen sich dabei einen gemeinsamen Wissensstand, wodurch das Programm oft besser wird, als wenn man es nur auf eine Aufgabe trainiert hätte.
Computerprogramme, die aus Beispielen lernen, nennt man KI-Modelle. Normalerweise trainiert man ein solches Modell für genau eine Aufgabe, etwa das Erkennen von Verkehrsschildern auf Fotos. Beim Multi-Task Learning geht man anders vor: Ein einziges Modell lernt mehrere Aufgaben zur gleichen Zeit. Es soll auf demselben Foto zum Beispiel Schilder erkennen, Fußgänger finden und die Entfernung schätzen. Der entscheidende Punkt ist, dass die Aufgaben sich einen gemeinsamen Teil des Modells teilen. Was das Modell für die eine Aufgabe lernt, kommt dadurch auch den anderen zugute.
Wenn Aufgaben sich gegenseitig helfen
Der wichtigste Grund für Multi-Task Learning ist Datenknappheit. Für viele Aufgaben gibt es nur wenige gut beschriftete Beispiele, weil das Beschriften Menschen und Zeit kostet. Ein Modell, das nur aus 500 Beispielen lernt, merkt sich diese oft einfach auswendig. Trainiert man es zusätzlich an einer verwandten Aufgabe mit 50.000 Beispielen, muss es allgemeinere Muster finden. Genau diese allgemeinen Muster helfen dann auch bei der kleinen Aufgabe.
Ein zweiter Grund ist schlicht Effizienz. Drei getrennte Modelle brauchen dreimal Speicher, dreimal Rechenzeit und dreimal Wartung. Ein gemeinsames Modell erledigt alles in einem Durchgang. Bei einem selbstfahrenden Auto ist das kein Luxus, sondern Voraussetzung: Der Bordcomputer hat begrenzte Rechenleistung und muss trotzdem viele Fragen gleichzeitig beantworten.
Es gibt aber auch den umgekehrten Fall. Passen die Aufgaben schlecht zusammen, ziehen sie das Modell in verschiedene Richtungen. Fachleute sprechen dann von negativem Transfer: Das gemeinsame Training macht die Ergebnisse schlechter statt besser. Multi-Task Learning ist also kein Automatismus, sondern eine Entscheidung, die man ausprobieren muss.
Gemeinsamer Rumpf, getrennte Köpfe
Der übliche Aufbau heißt geteilter Rumpf mit mehreren Köpfen. Der Rumpf ist der große Teil des Modells, den alle Aufgaben zusammen benutzen. Er verarbeitet die Eingabe, also etwa ein Bild, in eine Art Zwischenbeschreibung. Danach zweigt für jede Aufgabe ein eigener kleiner Kopf ab. Dieser Kopf übersetzt die Zwischenbeschreibung in die konkrete Antwort, zum Beispiel in die Angabe, welches Schild zu sehen ist.
Beim Training bekommt jede Aufgabe eine eigene Fehlerbewertung. Sie misst, wie weit die Antwort danebenlag. Diese Einzelwerte werden zu einer Gesamtbewertung zusammengerechnet, meist mit unterschiedlichen Gewichten. Das Modell verändert sich anschließend so, dass diese Gesamtbewertung kleiner wird. Der geteilte Rumpf bekommt also Rückmeldung aus allen Aufgaben gleichzeitig.
Die Gewichtung ist der heikelste Punkt. Bekommt eine Aufgabe zu viel Gewicht, dominiert sie das Training und die anderen verkümmern. Ein Vergleich hilft: Wer für drei Fächer gleichzeitig lernt, muss die Zeit sinnvoll aufteilen. Zwölf Stunden Mathe und zehn Minuten Englisch sind zwar Multitasking, aber kein gutes. Es gibt Verfahren, die die Gewichte automatisch anpassen, doch eine perfekte Lösung existiert nicht.
Von Suchmaschinen bis Sprachmodellen
Am sichtbarsten ist Multi-Task Learning in Empfehlungssystemen. Ein Videoportal sagt für jedes Video mehrere Dinge zugleich voraus: ob du klickst, wie lange du schaust, ob du bewertest. Diese Vorhersagen stammen aus einem gemeinsamen Modell, weil sie eng zusammenhängen. Ähnlich arbeiten die Kameraprogramme in Smartphones und Fahrassistenten.
Auch große Sprachmodelle wie die hinter Chatbots sind ein Fall von Multi-Task Learning, wenn auch in besonderer Form. Sie werden nicht auf getrennte Aufgabenköpfe trainiert, sondern lernen Übersetzen, Zusammenfassen und Programmieren alle als Textvorhersage. Die Aufgaben stehen dabei einfach als Anweisung im Text selbst. Man nennt dieses Training auf vielen Anweisungstypen Instruction Tuning.
In Firmenmeldungen und Fachartikeln taucht der Begriff meist als Argument für Sparsamkeit auf. Wer schreibt, ein Modell erledige zehn Aufgaben auf einmal, meint damit oft geringere Betriebskosten. Verwechseln sollte man Multi-Task Learning nicht mit Multimodalität. Multimodal heißt, dass ein Modell verschiedene Eingabearten wie Text und Bild verarbeitet. Multi-Task heißt, dass es verschiedene Fragen beantwortet.