Data Warehouse
Ein Data Warehouse ist ein zentraler Speicher, in dem ein Unternehmen Daten aus vielen einzelnen Systemen sammelt und einheitlich ordnet. Er ist nicht für das Tagesgeschäft gedacht, sondern für Auswertungen: Berichte, Kennzahlen und Analysen über lange Zeiträume.
Ein großes Unternehmen speichert seine Daten selten an einem einzigen Ort. Der Onlineshop hat seine eigene Datenbank, die Buchhaltung eine andere, das Lager und der Kundenservice wieder eigene. Jedes dieser Systeme ist darauf ausgelegt, den Alltag zu bewältigen: eine Bestellung annehmen, eine Rechnung schreiben. Wer aber wissen will, wie sich der Umsatz in Bayern über fünf Jahre entwickelt hat, muss all diese Quellen zusammenbringen. Genau dafür gibt es das Data Warehouse: einen zweiten, großen Speicher, in den Kopien aller wichtigen Daten fließen und dort in eine einheitliche Form gebracht werden. Der englische Name bedeutet wörtlich "Datenlagerhaus", und das trifft es gut.
Warum Firmen ihre Daten doppelt speichern
Auf den ersten Blick wirkt es verschwenderisch, dieselben Daten ein zweites Mal abzulegen. Es hat aber zwei handfeste Gründe. Der erste ist Geschwindigkeit: Eine große Auswertung liest oft Millionen von Zeilen. Liefe sie auf der Datenbank des Onlineshops, würde diese langsam werden. Kunden könnten dann während der Analyse keine Bestellung mehr abschicken. Das Data Warehouse trennt beides sauber voneinander.
Der zweite Grund ist Einheitlichkeit. Im Shop heißt ein Feld vielleicht "Kundennummer", in der Buchhaltung "Debitor", im Kundenservice "Client-ID". Gemeint ist dieselbe Person. Solange niemand diese Bezeichnungen zusammenführt, kann man die Systeme nicht gemeinsam auswerten. Das Data Warehouse legt eine verbindliche Struktur fest, in die alle Quellen übersetzt werden.
Hinzu kommt das Gedächtnis. Operative Systeme speichern meist nur den aktuellen Stand: die heutige Adresse eines Kunden, den heutigen Lagerbestand. Ein Data Warehouse hebt auch alte Stände auf. Erst dadurch lassen sich Entwicklungen über Jahre vergleichen, und genau das brauchen Geschäftsführung und Controlling.
Der Weg der Daten hinein
Die Daten kommen nicht von selbst ins Warehouse. Sie werden von Programmen abgeholt, die typischerweise nachts laufen, wenn wenig Betrieb ist. Dieser Vorgang heißt ETL, kurz für die drei englischen Schritte Extrahieren, Transformieren, Laden. Extrahieren bedeutet: aus den Quellsystemen auslesen. Transformieren bedeutet: umbenennen, vereinheitlichen, Fehler und Dubletten bereinigen. Laden bedeutet: im Warehouse ablegen.
Innen sind die Daten anders organisiert als in einer normalen Datenbank. Üblich ist das sogenannte Sternschema. In der Mitte steht eine große Tabelle mit den Ereignissen, etwa allen Verkäufen. Ringsum liegen kleinere Tabellen mit den Beschreibungen dazu: Produkt, Filiale, Datum, Kunde. Diese Anordnung ist auf schnelles Summieren und Gruppieren zugeschnitten.
Ein häufiger Irrtum ist die Verwechslung mit dem Data Lake. Ein Data Lake nimmt Daten roh und unsortiert auf, auch Bilder, Videos oder Protokolldateien. Ein Data Warehouse verlangt vorher eine feste Ordnung. Der Lake ist der Rohstofflagerplatz, das Warehouse das sortierte Regal. Viele Firmen betreiben heute beides nebeneinander.
Von der Quartalszahl bis zum Trainingsdatensatz
Sichtbar wird ein Data Warehouse selten. Man sieht sein Ergebnis: das Dashboard mit den Umsatzkurven, den Quartalsbericht einer Aktiengesellschaft, die Empfehlung "andere Kunden kauften auch". Auch Behörden und Krankenkassen arbeiten so. Fast jede Zahl, die eine große Organisation über sich selbst veröffentlicht, hat irgendwann ein Data Warehouse durchlaufen.
In Wirtschaftsnachrichten taucht der Begriff vor allem über die Anbieter auf. Snowflake, Google BigQuery, Amazon Redshift und Databricks vermieten solche Speicher als Cloud-Dienst, also als Rechenleistung, die man mietet statt selbst zu betreiben. Ihre Börsenkurse gelten Analysten als Gradmesser dafür, wie viel Unternehmen gerade in Datenauswertung investieren.
Für KI hat das Thema zusätzlich an Bedeutung gewonnen. Wer ein Modell auf eigene Geschäftsdaten ansetzen will, braucht diese Daten sauber und vollständig an einem Ort. Ein gepflegtes Data Warehouse ist deshalb oft die Voraussetzung für jedes KI-Projekt in einer Firma. Der unspektakuläre Teil der Arbeit steckt hier, nicht im Modell selbst.