Gradient Boosting

Gradient Boosting ist eine Methode, mit der Computer aus Beispieldaten Vorhersagen lernen. Man will zum Beispiel aus Größe, Lage und Baujahr den Preis einer Wohnung schätzen. Ein einziges einfaches Rechenmodell schafft das meist nur grob. Gradient Boosting baut deshalb sehr viele einfache Modelle, aber nicht gleichzeitig, sondern eines nach dem anderen. Jedes neue Modell schaut sich an, wo die bisherigen daneben lagen, und versucht genau diese Abweichung auszugleichen. Die Summe aller Schritte ergibt am Ende eine überraschend genaue Schätzung.

Der stille Sieger bei Tabellendaten

In den Nachrichten geht es fast immer um große Sprachmodelle. In vielen Unternehmen arbeitet aber etwas anderes im Hintergrund. Sobald die Daten in einer Tabelle mit Spalten und Zeilen stehen, ist Gradient Boosting oft die beste Wahl. Banken schätzen damit Kreditrisiken, Versicherungen berechnen Schadenswahrscheinlichkeiten, Onlineshops sagen Verkaufszahlen voraus.

Der Grund ist nüchtern: Bei solchen Daten schlägt Gradient Boosting neuronale Netze regelmäßig, obwohl es viel weniger Rechenleistung braucht. Ein brauchbares Modell entsteht auf einem normalen Laptop in Minuten. Ein neuronales Netz bräuchte dafür mehr Daten und meist auch spezielle Grafikkarten.

Bei Wettbewerben auf der Datenplattform Kaggle, wo Teilnehmer um die besten Vorhersagen konkurrieren, gewinnen seit Jahren fast alle Tabellen-Aufgaben mit Gradient Boosting. Das ist ein guter Hinweis darauf, dass moderne KI nicht immer aus riesigen Modellen bestehen muss.

Schritt für Schritt gegen den eigenen Fehler

Die einfachen Modelle sind fast immer Entscheidungsbäume. Ein Entscheidungsbaum ist eine Kette von Ja-Nein-Fragen, etwa: Ist die Wohnung größer als 80 Quadratmeter? Am Ende jeder Frageketten steht eine Zahl als Schätzung. Ein einzelner solcher Baum bleibt bewusst klein und ungenau.

Der erste Baum liefert eine rohe Schätzung. Danach berechnet man für jedes Beispiel den Fehler, also die Differenz zur Wahrheit. Der zweite Baum lernt nun nicht die Preise, sondern genau diese Fehler. Seine Vorhersage wird zur ersten hinzuaddiert. Das wiederholt man hunderte oder tausende Male.

Das Wort Gradient beschreibt dabei die Richtung, in die man den Fehler am schnellsten verkleinert. Damit die Korrekturen nicht überschießen, wird jeder neue Baum nur mit einem kleinen Anteil eingerechnet, oft mit fünf oder zehn Prozent. Man kann sich das wie das Einstellen eines Fernrohrs vorstellen: viele kleine Drehungen führen zu einem scharfen Bild, eine große Drehung schießt am Ziel vorbei. Wichtig ist der Unterschied zu Random Forest, einem verwandten Verfahren: Dort entstehen alle Bäume unabhängig voneinander und stimmen am Ende ab. Beim Gradient Boosting hängt jeder Baum vom Ergebnis des vorherigen ab.

XGBoost, LightGBM und der Alltag

Meist trifft man den Begriff nicht direkt, sondern über die Namen bekannter Programmbibliotheken. XGBoost, LightGBM und CatBoost sind alle Umsetzungen von Gradient Boosting. Sie sind kostenlos verfügbar und werden in Firmen weltweit eingesetzt. Wer eine Stellenanzeige für Datenanalyse liest, findet diese Namen dort sehr häufig.

Im Alltag steckt das Verfahren an unauffälligen Stellen. Es entscheidet mit, ob eine Kreditkartenzahlung als möglicher Betrug markiert wird. Es sortiert Suchergebnisse und Produktempfehlungen. Auch Preisvorhersagen für Flüge oder Fahrdienste laufen oft über solche Modelle.

Ein typischer Irrtum: Weil das Verfahren aus Bäumen mit klaren Ja-Nein-Fragen besteht, wirkt es leicht nachvollziehbar. Bei tausend Bäumen ist das aber nicht mehr der Fall. Deshalb gibt es Zusatzwerkzeuge, die zeigen, welche Angaben eine Entscheidung besonders beeinflusst haben. Gerade bei Kreditentscheidungen verlangen Aufsichtsbehörden solche Erklärungen.