Few-Shot Learning

Programme, die selbstständig aus Daten lernen, brauchen normalerweise sehr viele Beispiele. Wer einem solchen Programm beibringen will, Katzen auf Fotos zu erkennen, zeigt ihm klassischerweise tausende Katzenbilder. Few-Shot Learning meint den Gegenentwurf: Das Programm bekommt nur eine Handvoll Beispiele, oft zwei bis fünf, und löst die Aufgabe danach trotzdem brauchbar. « Shot » ist hier das englische Wort für einen einzelnen Versuch oder Beispielfall. Gibt es genau ein Beispiel, spricht man von One-Shot, gibt es keines, von Zero-Shot.

Warum das wichtig ist

Beispiele sind teuer. Jemand muss Bilder beschriften, Texte einsortieren oder Antworten vorschreiben. Für viele Aufgaben existieren große Sammlungen solcher fertig beschrifteter Daten einfach nicht. Ein Arzt hat für eine seltene Krankheit vielleicht dreißig Fälle, nicht dreißigtausend.

Deshalb entscheidet Few-Shot Learning oft darüber, ob sich ein KI-Projekt überhaupt lohnt. Wenn wenige Beispiele genügen, kann eine kleine Firma in einer Woche ausprobieren, was früher ein Jahresprojekt war. Auch die Nutzung heutiger Chatprogramme funktioniert nach diesem Prinzip: Man beschreibt die Aufgabe, zeigt zwei Muster und bekommt passende Ergebnisse.

Wie es funktioniert

Der Trick liegt im Vorwissen. Ein großes Sprachmodell, also ein Programm, das mit riesigen Textmengen auf das Vorhersagen von Wörtern trainiert wurde, hat dabei sehr viel allgemeine Struktur gelernt. Es kennt Satzbau, Sachzusammenhänge und typische Aufgabenformate. Die wenigen Beispiele müssen ihm also nichts Neues beibringen. Sie zeigen nur, welche der vorhandenen Fähigkeiten gerade gefragt ist.

Man kann das mit einem erfahrenen Übersetzer vergleichen. Wenn ein Kunde ihm drei Beispielsätze in seinem gewünschten Stil zeigt, versteht der Übersetzer sofort, worauf es ankommt. Er lernt keine neue Sprache, er stellt sich auf einen Wunsch ein. Ein Anfänger könnte mit drei Sätzen dagegen nichts anfangen.

Technisch gibt es zwei Wege. Beim Few-Shot-Prompting schreibt man die Beispiele einfach in die Anfrage. Das Modell selbst verändert sich dabei nicht, es reagiert nur auf den mitgelieferten Text. Beim Feinjustieren, im Englischen Fine-Tuning, passt man dagegen die inneren Zahlenwerte des Modells mit den wenigen Beispielen leicht an. Der erste Weg ist schneller und kostet nichts, der zweite hält länger und wirkt bei sehr speziellen Aufgaben stärker.

Wo man dem Begriff begegnet

Im Alltag nutzt man Few-Shot Learning, ohne es zu benennen. Wer einem Chatprogramm zwei Beispiele für eine gewünschte Zusammenfassung zeigt, macht genau das. Auch Textbausteine in Mailprogrammen und automatische Sortierung von Support-Anfragen arbeiten oft nach diesem Muster.

In Fachnachrichten taucht der Begriff seit 2020 regelmäßig auf. Damals zeigte das Modell GPT-3, dass ein einziges großes System viele Aufgaben mit wenigen Beispielen bewältigt, ohne für jede eigens trainiert zu werden. Das gilt als Wendepunkt der Branche. Wenn Unternehmen heute von Zero-Shot- oder Few-Shot-Fähigkeiten ihrer Modelle sprechen, meinen sie diese Flexibilität.

Für Anleger ist der Punkt wirtschaftlich relevant. Je weniger Beispiele nötig sind, desto weniger Aufwand liegt zwischen einem Modell und einem verkaufbaren Produkt. Gleichzeitig gilt eine Einschränkung: Wenige Beispiele bedeuten wenig Kontrolle. Das Ergebnis kann kippen, wenn die Beispiele unglücklich gewählt sind oder eine Aufgabe wirklich Fachwissen verlangt, das im Training fehlte.