Held-out-Split
Ein Held-out-Split ist ein Teil der gesammelten Beispieldaten, den man absichtlich zurückhält und nicht zum Lernen verwendet. Mit diesen zurückgehaltenen Beispielen prüft man später, ob ein Computerprogramm wirklich etwas gelernt hat oder nur die Übungsaufgaben auswendig kennt.
Wer ein Programm mit Beispielen lernen lässt, hat ein Problem: Woran merkt man, ob es etwas verstanden hat? Fragt man es genau die Beispiele ab, mit denen es geübt hat, sagt das Ergebnis wenig aus. Deshalb teilt man die Daten von Anfang an auf. Ein Teil wird zum Üben benutzt, ein anderer Teil wird beiseitegelegt und nie fürs Üben angefasst. Dieser beiseitegelegte Teil heißt Held-out-Split, auf Deutsch etwa « zurückgehaltener Anteil ». Erst am Ende holt man ihn hervor und schaut, wie gut das Programm damit klarkommt. Es ist derselbe Gedanke wie bei einer Klassenarbeit: Sie enthält Aufgaben, die man vorher nicht gesehen hat.
Was das Zurückhalten über echtes Können verrät
Ein Lernprogramm kann auf zwei sehr verschiedene Weisen gut abschneiden. Entweder hat es allgemeine Muster erkannt, oder es hat sich die Übungsbeispiele einfach gemerkt. Von außen sieht beides gleich aus, solange man nur die Übungsbeispiele abfragt. Der Held-out-Split trennt die beiden Fälle. Wer die Muster verstanden hat, ist auch bei neuen Beispielen gut. Wer nur auswendig gelernt hat, fällt hier deutlich ab.
Für dieses Auswendiglernen gibt es einen Fachbegriff: Überanpassung, englisch Overfitting. Das Programm passt sich dabei so genau an seine Übungsdaten an, dass es auch deren Zufälligkeiten mitlernt. Ohne zurückgehaltene Daten bleibt so ein Fehler oft unbemerkt, bis das Programm im echten Einsatz versagt. Genau deshalb ist der Held-out-Split in der Praxis kein optionaler Zusatz, sondern Grundausstattung.
Es gibt noch einen zweiten Grund, und der ist wirtschaftlich. Firmen vergleichen Modelle anhand von Prozentzahlen und treffen darauf gestützt Millionenentscheidungen. Solche Zahlen sind nur belastbar, wenn sie auf ungesehenen Daten gemessen wurden. Eine Erfolgsquote auf Übungsdaten ist im Zweifel geschönt.
Wie die Aufteilung der Daten abläuft
Meistens teilt man die Daten in drei Teile. Der größte Teil, oft rund 80 Prozent, dient dem Üben. Ein kleiner Teil dient dem Feineinstellen, etwa der Frage, wie lange geübt werden soll. Der letzte Teil, oft 10 Prozent, bleibt bis zum Schluss unangetastet und ist der eigentliche Held-out-Split. Die Namen dafür lauten Trainingsdaten, Validierungsdaten und Testdaten.
Entscheidend ist, dass die Aufteilung zufällig und fair passiert. Beide Teile sollen dieselbe Art von Beispielen enthalten. Steckt man versehentlich nur leichte Fälle in den zurückgehaltenen Teil, wirkt das Ergebnis besser als es ist. Bei Daten mit Zeitbezug, etwa Aktienkursen, teilt man stattdessen nach Datum: geübt wird mit der Vergangenheit, geprüft mit der Zukunft.
Der häufigste Fehler heißt Datenleck, englisch Data Leakage. Dabei rutschen Informationen aus dem zurückgehaltenen Teil doch ins Üben. Das passiert schnell, etwa wenn dasselbe Foto in leicht verändertem Zuschnitt in beiden Teilen liegt. Danach ist der Held-out-Split wertlos, denn das Programm hat die Prüfungsaufgaben ja schon gesehen. Wer sehr wenige Daten hat, nutzt stattdessen Kreuzvalidierung: Man wiederholt die Aufteilung mehrmals und hält jedes Mal einen anderen Abschnitt zurück.
Held-out-Daten in Modellvergleichen und Ranglisten
Man begegnet dem Begriff überall dort, wo KI-Systeme miteinander verglichen werden. Bekannte Prüfungssammlungen für Sprachmodelle geben ihre Aufgaben teils gar nicht öffentlich heraus, sondern behalten sie zurück. Nur so lässt sich verhindern, dass die Aufgaben im nächsten Trainingsdurchlauf einfach mitgelernt werden. Wenn eine Firma eine Bestnote auf einem solchen Test meldet, ist das der Grund, warum die Zahl überhaupt Gewicht hat.
In Firmen ist der Held-out-Split Teil der Qualitätskontrolle. Eine Bank, die Kreditausfälle vorhersagen will, prüft ihr Modell an zurückgehaltenen Altfällen. Ein Onlineshop testet seine Empfehlungen an Käufen, die das Modell nie gesehen hat. Auch Aufsichtsbehörden fragen zunehmend, auf welchen Daten die genannten Genauigkeiten gemessen wurden.
In News tauchen die zurückgehaltenen Daten oft in Form eines Verdachts auf. Immer wieder heißt es, ein Modell habe die Testaufgaben bereits im Training gesehen. Der Vorwurf lautet dann Kontamination, also Verunreinigung der Prüfdaten. Wer den Held-out-Split versteht, kann solche Meldungen richtig einordnen: Ohne saubere, ungesehene Prüfdaten ist jede Bestnote nur eine Behauptung.