Ensemble-Methode

Eine Ensemble-Methode löst eine Aufgabe nicht mit einem Rechenverfahren, sondern mit vielen gleichzeitig. Jedes dieser Verfahren macht eine eigene Vorhersage, zum Beispiel: Ist diese E-Mail Werbung oder nicht? Am Ende werden die Einzelantworten zu einer einzigen zusammengefasst, etwa durch eine Abstimmung oder einen Mittelwert. Der Trick liegt darin, dass die Verfahren unterschiedliche Fehler machen. Wo eines danebenliegt, liegen die anderen oft richtig, und beim Zusammenfassen fällt der Ausrutscher kaum auf. Das Prinzip ist dasselbe wie bei einer Jury: Ein einzelner Punktrichter kann sich täuschen, der Durchschnitt aus fünf Urteilen ist stabiler.

Warum die Gruppe klüger urteilt als das Einzelmodell

Der Gewinn an Genauigkeit ist oft überraschend groß. Bei öffentlichen Wettbewerben für Datenanalyse gewinnen fast immer Ensembles, kaum je ein einzelnes Verfahren. Der Grund: Ein Modell, das aus Beispieldaten lernt, hat immer eine gewisse Willkür. Es hat vielleicht ein paar zufällige Muster in den Trainingsdaten aufgeschnappt, die in der Realität nichts bedeuten. Mittelt man über viele Modelle, verschwinden diese Zufälligkeiten weitgehend.

Wichtig ist dabei die Vielfalt. Fünf Modelle, die alle exakt gleich rechnen, bringen keinen Vorteil, weil sie dieselben Fehler wiederholen. Deshalb baut man die Mitglieder absichtlich unterschiedlich: verschiedene Ausschnitte der Daten, verschiedene Startbedingungen, manchmal völlig verschiedene Verfahrensarten. Man sagt, die Fehler sollen möglichst unabhängig voneinander sein.

Der Preis dafür sind Rechenzeit und Nachvollziehbarkeit. Zwanzig Modelle brauchen etwa zwanzigmal so viel Rechenleistung wie eines. Und wenn zwanzig Verfahren gemeinsam abstimmen, lässt sich schwerer erklären, warum eine Entscheidung so ausgefallen ist. Genau das ist bei Kreditvergaben oder medizinischen Anwendungen ein echtes Problem.

Abstimmen, nachbessern, aufeinanderstapeln

Die einfachste Bauweise heißt Bagging. Dabei zieht man aus dem Datensatz viele zufällige Stichproben und trainiert auf jeder ein eigenes Modell. Anschließend stimmen alle gleichberechtigt ab. Der bekannteste Vertreter ist der Random Forest, ein Wald aus vielen Entscheidungsbäumen. Ein Entscheidungsbaum ist dabei nichts anderes als eine Kette von Ja-Nein-Fragen, die zu einem Urteil führt.

Die zweite Bauweise heißt Boosting und arbeitet nicht parallel, sondern nacheinander. Das erste Modell ist absichtlich schlicht und macht viele Fehler. Das zweite wird gezielt auf die Fälle trainiert, die das erste falsch eingeschätzt hat. So geht es weiter, Modell für Modell, und jedes konzentriert sich auf die verbleibenden Schwächen. Verfahren wie XGBoost oder LightGBM funktionieren nach diesem Muster und gelten für Tabellendaten bis heute als erste Wahl.

Eine dritte Variante ist das Stacking. Hier lässt man ein zusätzliches Modell lernen, wie die Vorhersagen der anderen am besten zu gewichten sind. Es entscheidet also, wessen Stimme in welcher Situation mehr zählt. Das ist mächtig, aber auch anfällig: Wenn dieses obere Modell zu wenige unabhängige Daten sieht, lernt es die Trainingsdaten auswendig statt die Regel dahinter.

Ensembles in Wettervorhersage, Banken und Sprachmodellen

Am häufigsten trifft man Ensembles dort, wo Daten in Tabellenform vorliegen. Banken schätzen mit ihnen Kreditrisiken ein, Onlineshops die Wahrscheinlichkeit eines Kaufs, Versicherungen die Höhe von Schäden. In der Wettervorhersage rechnet man ein Modell mit leicht verschiedenen Startwerten mehrfach durch. Genau daraus entsteht die Angabe „70 Prozent Regenwahrscheinlichkeit“ — sie sagt, in wie vielen der Durchläufe es geregnet hat.

Auch bei modernen KI-Systemen lebt die Idee weiter, oft unter anderem Namen. Wenn ein Chatbot dieselbe Frage mehrfach beantwortet und die häufigste Antwort ausgewählt wird, ist das ein Ensemble im Zeitverlauf. Ein verwandtes, aber anderes Konzept ist Mixture of Experts: Dort wählt ein Steuernetz pro Anfrage nur wenige Spezialbausteine aus. Ein Ensemble lässt dagegen typischerweise alle Mitglieder rechnen und fasst deren Antworten zusammen.