Random Forest
Ein Random Forest ist ein Vorhersageverfahren, das viele einfache Entscheidungsbäume kombiniert und deren Ergebnisse zusammenzählt. Weil jeder Baum etwas anders aufgebaut ist, gleichen sich ihre Fehler gegenseitig aus, und die Gesamtvorhersage wird zuverlässiger.
Ein Random Forest ist ein Verfahren, mit dem ein Computer aus vorhandenen Daten Vorhersagen ableitet. Grundlage ist ein sogenannter Entscheidungsbaum: eine Kette von Ja-Nein-Fragen, die am Ende zu einem Ergebnis führt. Eine solche Kette könnte etwa lauten: Ist der Kunde älter als 40? Hat er schon einmal gekündigt? Am Ende steht dann eine Einschätzung wie « wird wahrscheinlich Kunde bleiben ». Ein einzelner Baum liegt allerdings oft daneben, weil er sich zu stark an den Zufälligkeiten seiner Trainingsdaten festbeißt. Ein Random Forest baut deshalb hunderte solcher Bäume auf leicht unterschiedliche Weise und lässt sie gemeinsam abstimmen. Das englische Wort « forest » bedeutet Wald, « random » bedeutet zufällig – der Name beschreibt also genau das Prinzip.
Warum viele Bäume besser raten als einer
Dahinter steckt eine Idee, die man auch aus dem Alltag kennt. Wenn eine einzelne Person die Anzahl der Gummibärchen in einem Glas schätzt, liegt sie meist deutlich daneben. Fragt man hundert Leute und bildet den Durchschnitt, ist das Ergebnis erstaunlich nah an der Wahrheit. Zu hohe und zu niedrige Schätzungen heben sich gegenseitig auf. Genau dieser Effekt wirkt auch bei Entscheidungsbäumen.
Der Fachbegriff für das Problem eines einzelnen Baums lautet Überanpassung. Damit ist gemeint, dass ein Modell die Trainingsdaten auswendig lernt, statt allgemeine Muster zu erkennen. Bei neuen Daten versagt es dann. Ein Wald aus vielen unterschiedlichen Bäumen ist gegen diesen Fehler deutlich robuster, weil kein einzelner Baum das Ergebnis allein bestimmt.
Dazu kommt ein praktischer Vorteil: Random Forests funktionieren oft schon ohne aufwendige Feinabstimmung gut. Bei tabellarischen Daten, also klassischen Tabellen mit Zeilen und Spalten, schlagen sie sogar häufig große neuronale Netze. Deshalb sind sie in Banken, Versicherungen und der Industrie bis heute im Einsatz, obwohl das Verfahren aus dem Jahr 2001 stammt.
Zufall an zwei Stellen
Damit die Bäume nicht alle gleich werden, wird an zwei Stellen bewusst Zufall eingebaut. Erstens bekommt jeder Baum nicht den kompletten Datensatz, sondern eine zufällig gezogene Stichprobe daraus. Manche Datenpunkte kommen darin mehrfach vor, andere gar nicht. Dieses Ziehen mit Zurücklegen heißt Bagging.
Zweitens darf ein Baum an jeder Verzweigung nicht alle Merkmale prüfen, sondern nur eine zufällige Auswahl davon. Wenn ein Datensatz zwanzig Spalten hat, stehen an einer Verzweigung vielleicht nur fünf zur Wahl. Das verhindert, dass ein besonders auffälliges Merkmal in jedem Baum ganz oben steht. So entstehen wirklich verschiedene Bäume statt hundert Kopien desselben.
Bei der Vorhersage befragt man dann alle Bäume. Geht es um eine Ja-Nein-Entscheidung, gilt die Mehrheit der Stimmen. Geht es um eine Zahl, etwa einen Immobilienpreis, bildet man den Durchschnitt aller Bäume. Ein häufiger Irrtum ist, dass mehr Bäume irgendwann schaden. Das ist nicht der Fall: Ab einigen hundert Bäumen verbessert sich das Ergebnis kaum noch, schlechter wird es aber nicht.
Vom Kreditantrag bis zur Krankheitsdiagnose
Random Forests stecken in vielen Systemen, die man selbst nie zu Gesicht bekommt. Banken schätzen damit ab, wie wahrscheinlich ein Kredit zurückgezahlt wird. Onlineshops sagen voraus, welche Kunden abspringen könnten. In der Medizin helfen sie, aus Laborwerten Hinweise auf Krankheiten zu ziehen. Auch in der Betrugserkennung bei Kartenzahlungen sind sie verbreitet.
In Nachrichten über künstliche Intelligenz taucht der Begriff seltener auf als Sprachmodelle oder neuronale Netze. Das liegt daran, dass Random Forests unspektakulär und lange erprobt sind. Für Bilder, Sprache oder Text sind sie ungeeignet, dort sind neuronale Netze klar überlegen. Ihre Stärke liegt bei strukturierten Zahlen- und Kategoriedaten.
Ein weiterer Grund für ihre Beliebtheit ist die Nachvollziehbarkeit. Ein Random Forest kann angeben, welche Merkmale für seine Entscheidungen besonders wichtig waren. Das ist bei Kreditvergaben oder medizinischen Anwendungen rechtlich oft gefordert. Vollständig durchschaubar ist ein Wald aus 500 Bäumen zwar nicht, aber deutlich transparenter als ein großes neuronales Netz.