Eine Datenplattform auf Azure Databricks – von der Quelle bis zum Power-BI-Datenprodukt

Ausgangslage

Der Kunde entwickelt und betreibt eine Software, deren Daten sowohl intern ausgewertet werden als auch für die Endkunden des Betreibers aufbereitet werden sollen. Eine gemeinsame Plattform dafür gab es nicht. Auswertungen entstanden nah an den operativen Systemen, mit den üblichen Folgen: Kennzahlen, die je nach Quelle anders ausfallen, Aufwand bei jeder neuen Anforderung, keine belastbare Nachvollziehbarkeit, woher ein Wert stammt.

Das Ziel war eine Plattform, die zwei Zielgruppen bedient: die eigenen Fachbereiche und die Endkunden. Beide brauchen dieselben, geprüften Daten, aber in unterschiedlicher Aufbereitung und mit unterschiedlichen Zugriffsrechten.

Aufgabe von Fidan Consulting

Fidan Consulting hat die Plattform konzipiert und richtet sie End-to-End ein: von der Anbindung der Quellsysteme über die Verarbeitungsschichten bis zu den Datenprodukten, die in Power BI konsumiert werden. Dazu gehört die Definition der Architektur, der Aufbau aller Datenbeschaffungsprozesse und die Governance-Struktur, die von Anfang an mitläuft statt später nachgerüstet zu werden. Das Team besteht aus fünf Personen; Fidan Consulting übernimmt die technische Leitung.

Architektur: Lakehouse mit integriertem Data Warehouse

Die Plattform folgt einer Lakehouse-Architektur auf Azure Databricks mit Delta Lake als Speicherformat. Die Daten durchlaufen drei Schichten:

• Bronze: Rohdaten aus den Quellsystemen, unverändert und historisiert. Jeder Ladevorgang bleibt nachvollziehbar, jede Zahl lässt sich bis zur Quelle zurückverfolgen.
• Silver: bereinigte, typisierte und harmonisierte Daten mit stabilen Schlüsseln und Historisierung. Hier werden Quellen zusammengeführt und fachliche Regeln angewendet, die für alle Auswertungen gleich sein müssen.
• Gold: das integrierte Data Warehouse in dimensionaler Modellierung – Fakten und Dimensionen, wie sie Power BI direkt verarbeiten kann. Aus dieser Schicht entstehen die Datenprodukte.

Der Vorteil dieser Kombination: Die Flexibilität eines Data Lake für Rohdaten und Engineering, die Verlässlichkeit eines Data Warehouse für das Reporting, ohne zwei getrennte Systeme betreiben zu müssen.

Datenbeschaffung von der Quelle bis zum Datenprodukt

Für jede Quelle gibt es einen definierten Ladeprozess, der nach demselben Muster gebaut ist: inkrementell wo möglich, idempotent, mit Protokollierung und mit Prüfungen an den Schichtübergängen. Das Muster ist als wiederverwendbares Framework umgesetzt, sodass eine neue Quelle konfiguriert wird statt neu programmiert. Die Orchestrierung läuft in Databricks; Abhängigkeiten zwischen Ladeprozessen sind explizit modelliert.

Governance: Qualität, Sicherheit, Nachvollziehbarkeit

Weil die Plattform auch Endkunden bedient, war Governance keine Kür. Drei Bausteine:

• Datenqualität: Regeln für Vollständigkeit, Konsistenz und Plausibilität werden automatisiert geprüft; Verstöße werden protokolliert und sichtbar gemacht, bevor Daten in die Gold-Schicht gelangen.
• Sicherheit: Berechtigungen sind auf Katalog-, Schema- und Tabellenebene definiert. Interne Fachbereiche und Endkunden sehen jeweils nur die Daten, die für sie bestimmt sind – Mandantentrennung ist Teil des Datenmodells, nicht der Berichte.
• Nachvollziehbarkeit: Herkunft und Verarbeitungsweg jeder Tabelle sind dokumentiert und technisch nachvollziehbar (Lineage). Namenskonventionen und Dokumentationsstandards sind Teil der Entwicklungsrichtlinien.

Datenprodukte und Power BI

Die Gold-Schicht wird nicht als eine große Tabelle bereitgestellt, sondern als konsumfähige Datenprodukte: klar abgegrenzte Datensätze mit definiertem Zweck, Verantwortlichem und Schnittstelle. Power BI greift auf diese Produkte zu; die Semantik – Kennzahlendefinitionen, Hierarchien, Beziehungen – liegt im Datenmodell und nicht in einzelnen Berichten. Ein Datenprodukt kann so für einen internen Bericht und für ein Kunden-Dashboard genutzt werden, ohne dass Kennzahlen doppelt definiert werden.

Stand und Ausblick

Das Projekt läuft seit Mai 2026. Die Plattform ist aufgebaut, die ersten Quellen sind angebunden und die ersten Datenprodukte werden in Power BI genutzt. Die nächsten Schritte sind der Ausbau der Quellen und Datenprodukte sowie die Übergabe des Betriebs an das Team des Kunden.