Ensemble

Ein Ensemble ist eine Gruppe von Programmen, die dieselbe Frage beantworten sollen. Jedes Mitglied der Gruppe gibt seine eigene Antwort ab. Danach werden diese Antworten zu einem einzigen Ergebnis verrechnet, zum Beispiel durch eine Abstimmung oder durch einen Mittelwert. Der Grund dafür ist einfach: Jedes einzelne Programm macht Fehler, aber es macht andere Fehler als die übrigen. Wenn man die Antworten zusammenlegt, heben sich viele dieser Fehler gegenseitig auf. Das Prinzip ist dasselbe wie bei einer Jury, die zuverlässiger urteilt als ein einzelner Preisrichter.

Warum Gruppen zuverlässiger raten als Einzelne

Ensembles sind ein Standardwerkzeug, weil sie fast immer etwas Genauigkeit bringen. Bei Wettbewerben in der Datenanalyse gewinnen seit Jahren überwiegend Ensembles. Der Zugewinn ist selten spektakulär, aber sehr verlässlich. Oft geht es um ein bis drei Prozentpunkte mehr Treffergenauigkeit. In Bereichen wie Kreditprüfung oder medizinischer Bildauswertung kann das ein großer Unterschied sein.

Ein zweiter Vorteil ist die Stabilität. Ein einzelnes Programm reagiert manchmal stark auf Zufälligkeiten in den Daten, aus denen es gelernt hat. Es kann bei leicht anderen Beispielen deutlich schlechter abschneiden. Eine Gruppe schwankt weniger, weil nicht alle Mitglieder gleichzeitig in dieselbe Richtung danebenliegen.

Der Preis dafür ist Rechenaufwand. Zehn Programme brauchen etwa zehnmal so viel Rechenzeit wie eines. Deshalb sind Ensembles dort beliebt, wo Genauigkeit wichtiger ist als Geschwindigkeit. Bei Anwendungen, die in Millisekunden antworten müssen, verzichtet man häufig darauf.

Abstimmen, Mitteln, Nachkorrigieren

Damit ein Ensemble funktioniert, müssen sich die Mitglieder unterscheiden. Wären alle identisch, würde die Abstimmung nichts bringen. Man erzeugt Vielfalt zum Beispiel dadurch, dass jedes Programm mit einer anderen Zufallsauswahl der Trainingsbeispiele lernt. Dieses Verfahren heißt Bagging. Eine bekannte Umsetzung ist der Random Forest, ein Ensemble aus vielen Entscheidungsbäumen, also aus Programmen, die per Ja-Nein-Fragen zu einem Urteil kommen.

Ein anderer Weg heißt Boosting. Hier werden die Mitglieder nicht gleichzeitig, sondern nacheinander gebaut. Jedes neue Mitglied konzentriert sich auf jene Beispiele, bei denen die bisherigen Mitglieder falsch lagen. So entsteht eine Kette aus Korrekturen. Verfahren wie XGBoost arbeiten so und gelten bei Tabellendaten als sehr stark.

Die Zusammenfassung der Antworten kann unterschiedlich ausfallen. Bei Ja-Nein-Fragen zählt man meist die Stimmen. Bei Zahlenschätzungen bildet man den Durchschnitt. Manchmal trainiert man sogar ein zusätzliches kleines Programm, das lernt, welchem Mitglied es in welcher Situation mehr glauben soll. Ein häufiger Irrtum ist übrigens, dass ein Ensemble aus schwachen Mitgliedern automatisch stark wird. Das gilt nur, wenn die Fehler der Mitglieder wirklich verschieden sind.

Ensembles in Suchmaschinen, Wetterberichten und Chatbots

Wetterberichte sind das bekannteste Beispiel. Meteorologen rechnen dasselbe Modell mehrfach mit leicht veränderten Startwerten durch. Aus der Streuung der Ergebnisse entsteht die Regenwahrscheinlichkeit in der Wetter-App. Sagen achtzig von hundert Rechnungen Regen voraus, steht dort achtzig Prozent.

Auch Banken und Versicherungen setzen Ensembles ein, etwa zur Erkennung verdächtiger Kartenzahlungen. Suchmaschinen und Empfehlungssysteme kombinieren mehrere Bewertungsverfahren zu einer Reihenfolge. In den Nachrichten liest man den Begriff selten, weil er unter Produktnamen verschwindet.

Bei Sprachmodellen gibt es einen verwandten Trick. Man lässt dasselbe Modell eine Aufgabe mehrmals lösen und nimmt die häufigste Antwort. Fachleute nennen das Mehrheitsentscheid über mehrere Lösungswege. Wenn ein Anbieter damit wirbt, dass sein System bei schweren Aufgaben länger nachdenkt, steckt oft genau diese Idee dahinter.