Model Selection
Model Selection ist die Entscheidung, welches von mehreren möglichen Rechenverfahren man für eine Aufgabe tatsächlich einsetzt. Man vergleicht die Kandidaten anhand von Daten, die beim Lernen nicht verwendet wurden, und wählt den, der bei neuen Fällen am besten abschneidet.
Wer ein Computerprogramm aus Beispielen lernen lässt, hat fast nie nur eine Möglichkeit. Für dieselbe Aufgabe gibt es viele verschiedene Rechenverfahren, und jedes davon lässt sich noch unterschiedlich einstellen. Model Selection ist der geordnete Vergleich dieser Kandidaten und die Entscheidung für einen davon. Entscheidend ist dabei nicht, wer die alten Beispiele am besten nachplappert. Entscheidend ist, wer bei neuen, bisher ungesehenen Fällen am besten abschneidet. Der englische Begriff hat sich auch im Deutschen durchgesetzt, gemeint ist schlicht Modellauswahl.
Warum der beste Testwert nicht der beste Kandidat ist
Der häufigste Fehler in diesem Bereich heißt Overfitting, zu Deutsch Überanpassung. Ein Verfahren merkt sich dabei die Trainingsbeispiele fast auswendig, statt die Regel dahinter zu erfassen. Bei den bekannten Daten sieht das großartig aus. Bei neuen Daten fällt es auseinander. Ohne saubere Model Selection merkt man das erst, wenn das System schon im Einsatz ist.
Dazu kommt eine praktische Seite. Ein etwas genaueres Verfahren kann zehnmal so viel Rechenzeit kosten wie ein einfaches. Bei einer Wetter-App mit Millionen Abrufen pro Tag ist das ein echter Kostenfaktor. Auch Nachvollziehbarkeit spielt eine Rolle. Eine Bank muss einem abgelehnten Kunden erklären können, warum der Kredit abgelehnt wurde. Ein einfaches, durchschaubares Verfahren gewinnt deshalb manchmal gegen ein genaueres.
Model Selection ist also selten eine reine Genauigkeitsfrage. Sie ist ein Abwägen zwischen Treffsicherheit, Kosten, Geschwindigkeit und Erklärbarkeit. Welches Kriterium schwerer wiegt, hängt vom Einsatzzweck ab.
Aufteilen, vergleichen, erst ganz am Ende prüfen
Das Standardvorgehen teilt die vorhandenen Daten in drei Teile. Mit dem Trainingsteil lernen alle Kandidaten. Mit dem Validierungsteil vergleicht man sie miteinander. Der Testteil bleibt bis ganz zum Schluss verschlossen und dient nur der letzten Kontrolle. Sobald man den Testteil zum Auswählen benutzt, verliert er seinen Wert als unabhängiges Urteil.
Bei wenigen Daten nutzt man Kreuzvalidierung. Dabei wird der Datensatz zum Beispiel in fünf Blöcke geteilt. Vier Blöcke dienen dem Lernen, einer der Prüfung, und das wiederholt man fünfmal mit wechselnder Rolle. Der Durchschnitt der fünf Ergebnisse ist deutlich verlässlicher als eine einzelne Messung. Der Preis dafür ist der fünffache Rechenaufwand.
Ein Vergleich hilft beim Verständnis: Der Trainingsteil sind die Übungsaufgaben aus dem Schulbuch. Der Validierungsteil ist die Probeklausur, mit der man seine Lernstrategie anpasst. Der Testteil ist die echte Abiturprüfung. Wer die Abiaufgaben vorher kennt, hat kein aussagekräftiges Ergebnis mehr. Abzugrenzen ist Model Selection vom Hyperparameter-Tuning, also dem Feinjustieren der Stellschrauben eines einzelnen Verfahrens. In der Praxis laufen beide Schritte meist zusammen ab.
Von der Kaggle-Tabelle bis zum Modellrouter im Chatbot
Wer Daten auswertet, betreibt Model Selection ständig, oft ohne den Begriff zu nennen. Werkzeuge wie scikit-learn bringen fertige Funktionen dafür mit, etwa eine automatische Rastersuche über alle Einstellungskombinationen. Auf der Wettbewerbsplattform Kaggle ist die Bestenliste im Grunde eine öffentliche Model Selection über tausende Teilnehmer.
In der Welt der Sprachmodelle taucht der Begriff in neuer Form auf. Anbieter stellen mehrere Varianten bereit, von schnellen und günstigen bis zu langsamen und starken. Ein sogenannter Router entscheidet dann pro Anfrage, welche Variante antwortet. Eine simple Frage geht an das kleine Modell, eine komplizierte an das große. Wenn in Nachrichten steht, ein Anbieter habe die Modellauswahl automatisiert, ist genau das gemeint.
Auch Unternehmen treffen diese Entscheidung auf einer höheren Ebene. Sie prüfen, ob sie ein zugekauftes Modell nutzen oder ein eigenes betreiben. Kriterien sind dann Kosten pro Anfrage, Datenschutz und Abhängigkeit vom Anbieter. Der Kern bleibt derselbe wie im Kleinen: mehrere Optionen, ein fairer Vergleich, eine begründete Wahl.
