XGBoost

XGBoost ist ein Programm, das aus Daten in Tabellenform Vorhersagen berechnet. Eine solche Tabelle kann zum Beispiel Kunden enthalten: pro Zeile ein Kunde, pro Spalte eine Angabe wie Alter, Einkommen oder Wohnort. Die Frage lautet dann etwa: Wird dieser Kunde seinen Kredit zurückzahlen? XGBoost beantwortet das, indem es sehr viele kleine Ja-Nein-Regeln aufstellt und ihre Einzelurteile zu einem Gesamturteil verrechnet. Jede einzelne Regel ist grob und oft falsch, die Summe aus tausenden davon ist erstaunlich treffsicher. Der Name steht für « eXtreme Gradient Boosting » und beschreibt die Rechenmethode dahinter. Das Programm ist frei verfügbar und wurde 2014 von dem Informatiker Tianqi Chen veröffentlicht.

Der stille Gewinner der Tabellendaten

In den Nachrichten geht es fast immer um Sprachmodelle wie ChatGPT. Die meisten Daten, mit denen Firmen tatsächlich arbeiten, stehen aber in Tabellen: Umsätze, Transaktionen, Messwerte, Kundendaten. Genau dort ist XGBoost oft besser als ein neuronales Netz, also besser als die Technik hinter den bekannten KI-Chatbots. Das ist bis heute so geblieben, obwohl viele Forscher es anders erwartet hatten.

Ein zweiter Grund ist der Preis. XGBoost trainiert auf einem normalen Laptop in Minuten, wo ein großes Sprachmodell Wochen auf teurer Spezialhardware braucht. Wer eine Betrugserkennung für eine Bank baut, kann damit an einem Nachmittag ein funktionierendes Modell erstellen. Das senkt die Einstiegshürde erheblich.

Sichtbar wurde die Stärke vor allem bei Kaggle, einer Plattform, auf der Firmen Datenanalyse-Wettbewerbe ausschreiben. Über Jahre hinweg gewannen dort auffällig viele Teams mit XGBoost oder einem sehr ähnlichen Verfahren. Das machte das Programm zum Standardwerkzeug in der Branche.

Tausend Bäume, die sich gegenseitig korrigieren

Der Grundbaustein heißt Entscheidungsbaum. Das ist eine Kette einfacher Fragen: Ist das Einkommen über 40.000 Euro? Wenn ja, ist der Kunde älter als 30? Am Ende jeder Fragekette steht eine Schätzung. Ein einzelner solcher Baum ist ungenau, weil er die Wirklichkeit stark vereinfacht.

Der Trick heißt Boosting. XGBoost baut den ersten Baum, schaut sich dann an, wo dieser danebenlag, und baut einen zweiten Baum, der genau diese Fehler ausbessert. Der dritte Baum korrigiert die verbleibenden Fehler der ersten beiden, und so geht es weiter. Das ist wie eine Reihe von Korrekturlesern: Jeder findet die Fehler, die alle vorherigen übersehen haben. Nach einigen hundert Durchgängen bleibt kaum noch etwas übrig.

Wichtig ist die Abgrenzung zum Random Forest, einem verwandten Verfahren. Dort wachsen alle Bäume unabhängig voneinander und stimmen am Ende ab. Bei XGBoost hängt jeder Baum vom Ergebnis der vorherigen ab, die Bäume entstehen also nacheinander. Das ist genauer, aber auch anfälliger dafür, dass sich das Modell die Trainingsdaten schlicht auswendig merkt. Gegen dieses Auswendiglernen enthält XGBoost mehrere eingebaute Bremsen, die Bäume klein und Korrekturen vorsichtig halten.

Kreditscoring, Warenkörbe und Windkraft

Banken und Versicherungen nutzen solche Modelle für Risikoeinschätzungen. Wenn eine Bank in Sekunden entscheidet, ob du einen Ratenkredit bekommst, steckt dahinter oft ein Verfahren dieser Art. Auch Kreditkartenfirmen prüfen damit jede Zahlung darauf, ob sie zu deinem bisherigen Verhalten passt.

Im Onlinehandel schätzt XGBoost, wie viel von welchem Artikel nächste Woche im Lager sein sollte. Energieversorger prognostizieren damit, wie viel Strom ein Windpark morgen liefert, gestützt auf Wetterdaten der letzten Jahre. In der Medizinforschung dient es dazu, aus Laborwerten Krankheitsrisiken abzuschätzen.

In Stellenanzeigen für Datenanalysten taucht XGBoost fast immer neben Python auf, der üblichen Programmiersprache für Datenauswertung. Verwandte Programme mit ähnlicher Technik heißen LightGBM und CatBoost. Ein verbreiteter Irrtum ist, XGBoost sei durch moderne KI überholt. Für Tabellendaten ist das schlicht nicht der Fall.