Lakehouse

Große Unternehmen sammeln riesige Mengen an Daten: Verkaufszahlen, Klicks auf der Website, Messwerte aus Maschinen, Fotos, Textdateien. Diese Daten müssen irgendwo liegen, und sie müssen später auswertbar sein. Bisher gab es dafür zwei getrennte Wege. Entweder man kippte alles unsortiert in einen riesigen billigen Speicher, oder man räumte alles vorher sauber in Tabellen ein, was teuer und aufwendig war. Ein Lakehouse ist der Versuch, beides gleichzeitig zu haben: billiger Massenspeicher, auf dem trotzdem geordnete Tabellen liegen, die man direkt durchsuchen kann. Der Name ist ein Kunstwort aus den englischen Begriffen für Datensee und Datenlager.

Warum Firmen ihre Daten nicht mehr doppelt lagern wollen

Der unsortierte Massenspeicher heißt in der Fachsprache Data Lake, also Datensee. Er ist sehr günstig und nimmt alles auf, egal in welchem Format. Das Problem: Niemand garantiert, dass die Daten sauber sind. Es kann dieselbe Kundennummer dreimal geben, Spalten fehlen, Formate passen nicht zusammen. Auswertungen darauf sind mühsam und langsam.

Das geordnete Gegenstück heißt Data Warehouse, also Datenlager. Dort liegen die Daten in festen Tabellen mit klaren Regeln. Auswertungen laufen schnell und zuverlässig. Dafür ist der Speicherplatz teuer, und man muss jede Datenart vorher passend zurechtschneiden. Bilder, Videos oder rohe Sensordaten passen dort oft gar nicht hinein.

Viele Unternehmen betrieben deshalb beides parallel und schoben ständig Daten vom See ins Lager. Das kostet doppelt, und die beiden Bestände laufen mit der Zeit auseinander. Ein Lakehouse soll diesen doppelten Aufwand überflüssig machen. Für KI ist das besonders wichtig, denn Modelle brauchen sowohl saubere Tabellen als auch rohe Texte und Bilder.

Die Metadaten-Schicht über den Dateien

Technisch liegt ein Lakehouse auf ganz normalem, günstigem Cloud-Speicher. Dort liegen einfach viele Dateien in einem platzsparenden Format. Das allein wäre nur ein Datensee. Der entscheidende Zusatz ist eine Verwaltungsschicht darüber, ein sogenanntes Tabellenformat. Bekannte Beispiele heißen Delta Lake, Apache Iceberg und Apache Hudi.

Diese Schicht führt Buch darüber, welche Dateien zu welcher Tabelle gehören und welche Spalten es gibt. Man kann sich das wie den Katalog einer Bibliothek vorstellen. Die Bücher stehen in billigen Regalen in der Halle, aber der Katalog weiß genau, wo was steht und in welcher Fassung. Ohne Katalog hätte man nur einen Haufen Papier.

Dadurch bekommt der billige Speicher Fähigkeiten, die man sonst nur aus Datenbanken kennt. Änderungen werden entweder ganz oder gar nicht übernommen, sodass nie halbfertige Zustände sichtbar werden. Man kann auf ältere Versionen einer Tabelle zurückspringen, was als Time Travel bezeichnet wird. Und mehrere Programme dürfen gleichzeitig lesen und schreiben, ohne sich gegenseitig zu zerstören.

Databricks, Snowflake und die Datenteams

Den Begriff hat vor allem die Firma Databricks bekannt gemacht, die 2020 dazu ein viel zitiertes Papier veröffentlichte. Ihr Konkurrent Snowflake kam von der Datenlager-Seite und bewegt sich inzwischen in dieselbe Richtung. Auch Amazon, Microsoft und Google bieten Lakehouse-Dienste an. In Wirtschaftsnachrichten taucht der Begriff deshalb oft im Zusammenhang mit Übernahmen und Milliardenbewertungen dieser Anbieter auf.

Im Alltag begegnet einem ein Lakehouse nicht direkt, sondern nur über seine Ergebnisse. Wenn ein Streamingdienst Empfehlungen berechnet oder eine Bank verdächtige Zahlungen erkennt, liegen die zugrunde liegenden Daten häufig in so einer Architektur. Auch Trainingsdaten für KI-Modelle werden dort vorbereitet und versioniert.

Ein verbreiteter Irrtum ist, ein Lakehouse sei ein einzelnes Produkt, das man kauft. Es ist eher ein Bauplan aus mehreren Bausteinen: Speicher, Tabellenformat, Abfrage-Werkzeug. Und es löst nicht automatisch alle Probleme. Wer schlechte Daten hineinlädt, bekommt auch aus einem Lakehouse nur schlechte Auswertungen heraus.