Validierungsset

Programme, die aus Beispielen lernen, brauchen sehr viele solcher Beispiele. Man teilt diese Beispiele vor dem Lernen in mehrere Stapel auf. Mit dem größten Stapel übt das Programm, er heißt Trainingsdaten. Ein zweiter, kleinerer Stapel bleibt beim Üben bewusst verschlossen: das Validierungsset. Mit ihm prüfen die Entwickler zwischendurch, wie gut das Programm bei Aufgaben abschneidet, die es noch nie gesehen hat. Der Vergleich beider Ergebnisse verrät, ob das Programm allgemeine Zusammenhänge gelernt hat oder nur seine Übungsbeispiele nachplappert.

Der Test gegen bloßes Auswendiglernen

Ein Modell kann bei seinen Übungsaufgaben nahezu fehlerfrei sein und trotzdem nutzlos. Fachleute nennen das Überanpassung oder Overfitting. Das Modell hat dann die Eigenheiten der Trainingsdaten mitgelernt, sogar deren Zufälle und Fehler. Bei neuen Daten bricht die Leistung ein. Ohne Validierungsset würde man diesen Absturz erst beim echten Einsatz merken.

Ein Vergleich aus der Schule macht es deutlich. Wer alle Lösungen der Übungsblätter auswendig lernt, hat 100 Prozent auf den Übungsblättern. In der Klassenarbeit mit neuen Aufgaben zeigt sich, ob echtes Verständnis dahintersteckt. Das Validierungsset ist ein solcher Zwischentest, den man beliebig oft schreiben darf.

Wichtig ist die Abgrenzung zum Testset. Das Testset ist ein dritter Stapel, der bis zum Schluss unangetastet bleibt. Das Validierungsset schaut man während der Entwicklung hundertmal an. Deshalb passt man das Modell unweigerlich ein Stück an diese Daten an. Die ehrliche Endnote liefert nur das Testset, das man idealerweise genau einmal verwendet.

Aufteilen, messen, Schrauben drehen

Üblich ist eine Aufteilung von etwa 80 Prozent Training, 10 Prozent Validierung und 10 Prozent Test. Entscheidend ist, dass die Aufteilung zufällig geschieht und kein Beispiel in zwei Stapeln landet. Solche Überschneidungen heißen Datenleck und schönen das Ergebnis. Bei Daten mit Zeitbezug, etwa Aktienkursen, teilt man stattdessen nach Datum: trainieren auf der Vergangenheit, validieren auf der Zukunft.

Während des Trainings berechnet das Programm regelmäßig seinen Fehler auf dem Validierungsset. Typischerweise sinkt dieser Fehler erst, erreicht ein Minimum und steigt dann wieder. Genau an diesem Wendepunkt beginnt die Überanpassung. Entwickler brechen das Training dort ab, das nennt man Early Stopping.

Außerdem dient das Validierungsset dem Vergleich von Bauvarianten. Man probiert verschiedene Modellgrößen und Lerngeschwindigkeiten aus und behält die Variante mit dem besten Validierungsergebnis. Wenn die Datenmenge klein ist, nutzt man Kreuzvalidierung: Die Daten werden in fünf oder zehn Teile zerlegt, und jeder Teil dient einmal als Validierungsset. Das Gesamtergebnis ist der Mittelwert aller Durchläufe und damit stabiler.

Warum Benchmark-Rekorde mit Vorsicht zu lesen sind

In News über neue KI-Modelle stehen oft Prozentwerte aus bekannten Prüfsammlungen. Viele dieser Sammlungen liefern offen ein Validierungsset und halten das eigentliche Testset geheim. Wer eine Zahl nennt, sollte dazusagen, auf welchem Teil sie gemessen wurde. Werte aus dem öffentlichen Validierungsset fallen regelmäßig besser aus als die späteren offiziellen Ergebnisse.

Ein bekanntes Problem großer Sprachmodelle ist Kontamination. Weil sie mit riesigen Textmengen aus dem Internet trainiert werden, können Prüfaufgaben samt Lösungen im Trainingsmaterial gelandet sein. Dann prüft das Validierungsset nichts mehr, es misst nur noch Erinnerung. Anbieter erstellen deshalb laufend neue, frische Prüfaufgaben.

Der Begriff taucht auch in Bereichen ohne Chatbots auf. Banken validieren Modelle zur Kreditwürdigkeit, Kliniken Programme zur Bildauswertung, Versicherungen Prognosen zu Schadensfällen. Aufsichtsbehörden verlangen dabei häufig einen Nachweis, dass das Modell auf zurückgehaltenen Daten geprüft wurde. Das Validierungsset ist damit nicht nur eine technische Vorsichtsmaßnahme, sondern oft eine Anforderung an die Dokumentation.