Zielbild statt Zufall: Databricks und Microsoft Fabric nach Data-Mesh-Prinzipien

Ausgangslage

Die Cloud-Transformation lief bereits, einzelne Teams nutzten Databricks, andere arbeiteten mit Power BI und ersten Fabric-Komponenten. Die Frage war nicht, ob die Plattform in die Cloud geht, sondern wie sie geschnitten sein muss, damit Fachbereiche eigenständig mit Daten arbeiten können, ohne dass Governance und Qualität verloren gehen. Die bisherige Struktur war zentral gewachsen: Ein Plattformteam lieferte, die Fachbereiche warteten.

Aufgabe von Fidan Consulting

Fidan Consulting hat die bestehende Systemlandschaft ganzheitlich analysiert – Architektur, Prozesse und Governance – und daraus ein zukunftsfähiges Zielbild entwickelt. Schwerpunkt war die Einführung eines Data-Mesh-orientierten Ansatzes: Self-Service für die Fachbereiche und klare Verantwortung je Domäne. Gemeinsam mit einem Infrastruktur-Experten entstand ein strukturiertes Optimierungskonzept.

Analyse: Architektur, Prozesse, Governance

Die Analyse betrachtete drei Ebenen, weil Architekturprobleme selten nur technische Ursachen haben:

• Architektur: Welche Systeme halten welche Daten, wo wird doppelt modelliert, wo entstehen Engpässe, wie fließen Daten zwischen Databricks, Fabric und den Quellsystemen.
• Prozesse: Wie kommt eine neue Datenanforderung von der Fachabteilung in die Umsetzung, wie lange dauert das, wer entscheidet, wer testet, wer betreibt.
• Governance: Wer ist für welche Daten verantwortlich, wie werden Berechtigungen vergeben, wie wird Qualität gemessen, wo ist Dokumentation vorhanden und wo nicht.

Zielbild: Databricks und Fabric mit klarer Rollenteilung

Im Zielbild haben beide Plattformen definierte Aufgaben statt sich zu überschneiden:

• Databricks ist die Engineering-Plattform: Anbindung der Quellsysteme, Historisierung, Datenqualität, die Verarbeitungsschichten und die Bereitstellung von Datenprodukten je Domäne. Governance über den zentralen Katalog mit Berechtigungen und Lineage.
• Microsoft Fabric ist die Konsum- und Self-Service-Plattform: OneLake als gemeinsamer Zugriffspunkt, Semantic Models und Power BI für die Fachbereiche, mit direktem Zugriff auf die Delta-Tabellen aus Databricks, ohne Daten zu kopieren.

So bleibt die Engineering-Tiefe dort, wo sie gebraucht wird, und die Fachbereiche arbeiten in der Umgebung, die sie bereits kennen.

Data-Mesh-Ansatz: Domänenverantwortung und Self-Service

Data Mesh wurde nicht als Dogma, sondern als Ordnungsprinzip eingeführt. Vier Elemente:

• Domänen: Fachliche Bereiche verantworten ihre Daten selbst – Definitionen, Qualität, Bereitstellung. Das Plattformteam liefert die Werkzeuge, nicht die Inhalte.
• Daten als Produkt: Jede Domäne stellt Datenprodukte mit definierter Schnittstelle, Dokumentation, Qualitätszusagen und Ansprechpartner bereit.
• Self-Service-Plattform: Standardisierte Bausteine für Anbindung, Verarbeitung und Bereitstellung, damit Domänenteams nicht bei null anfangen.
• Föderierte Governance: Zentrale Regeln für Sicherheit, Namensgebung und Qualität, dezentral umgesetzt.

Ergebnis: Architekturbericht und Arbeitspakete

Das Ergebnis war ein Architekturbericht mit konkretem Zielbild und Handlungsempfehlungen, ergänzt um Arbeitspakete mit Aufwandsschätzungen für die Umsetzung. Gemeinsam mit dem Projektmanagement wurde die Umsetzung strukturiert und terminiert. Der Bericht war so geschrieben, dass das Management die Entscheidung treffen konnte und die Teams gleichzeitig wussten, was in welcher Reihenfolge zu tun ist.