Ablösung von 300 Flat-Table-Varianten durch eine skalierbare Data-Vault-Architektur bei einem Energieversorger

Herausforderung

Ein Energieversorger hatte über 300 Varianten einer zentralen Flat Table angesammelt. Diese breiten Tabellen enthielten viele Attribute, bei denen die einzelne Tabellenstruktur einfach war, die Beziehungen zwischen den Attributen jedoch umfangreich und komplex.

Die Ursache lag in fehlender Wiederverwendbarkeit: Weil die bestehenden Flat Tables schwer zu verstehen waren, führten neue Anforderungen regelmäßig dazu, eine weitere Variante mit redundanten Daten zu erstellen, anstatt eine bestehende Struktur zu erweitern. Faktisch war jede Tabelle zu einem eigenen Datensilo geworden. Mit steigender Anzahl der Silos wuchs der Aufwand für den Überblick linear, während der Vergleich von Varianten eine kombinatorische Explosion erzeugte. Unter Zeitdruck wurden die Flat Tables zunehmend undurchsichtig, ein sich selbst verstärkender Kreislauf der Komplexität.

Lösungsansatz

Alligator Company wendete Unified Decomposition an, eine Methode aus dem Ensemble Modeling, um die monolithischen Flat Tables systematisch in stabile, einzeln einfache und erweiterbare Datenstrukturen zu zerlegen. Im ersten Schritt identifizierte das Team die zentralen Business Keys über alle 300 Flat-Table-Varianten hinweg und etablierte damit die grundlegenden Entitäten der Domäne (Hubs). Daraus extrahierte und modellierte Alligator Company die Beziehungen zwischen Business Keys explizit als Links. Sie ersetzten damit die impliziten Beziehungen, die in den Spalten der breiten Tabellen verborgen waren. Anschließend ordnete das Team die Attribute ihren jeweiligen Business Keys zu und schuf so fokussierte, wartbare Datencontainer mit klarer Zuständigkeit (Satellites).

Mit dem ELM/Data-Vault-Modell als Grundlage erzeugte Alligator Company die Generierungsschicht (Ingestion, Raw Vault und Datenausleitung) über die Datavault-Builder-Automation. Die ursprünglichen Flat Tables ersetzte das Team durch ein Decomposition-Recomposition-Muster: zerlegt in atomare Data-Vault-Strukturen und für nachgelagerte Verwendung wieder zusammengesetzt.

Der Ansatz folgte durchgängig dem Divide-&-Conquer-Prinzip: Eine kleine Anzahl komplexer, undurchsichtiger Strukturen wurde durch eine größere Anzahl einzeln einfacher, transparenter Komponenten ersetzt. Kleinere Transformationsschritte und kleinere Datentöpfe sind einfacher zu verstehen, zu warten und wiederzuverwenden.

Ergebnis

Die 300 Flat-Table-Varianten ersetzte Alligator Company durch ein einheitliches, zerlegtes Data-Vault-Modell mit klarer Struktur und expliziten Beziehungen. Die Datensilos sind beseitigt. Kleinere, klar definierte Komponenten können anforderungsübergreifend wiederverwendet werden, anstatt neue Varianten zu erzeugen, und Änderungen werden durch A/B-Vergleichstests validiert.

Statt eines taktischen Notpflasters lieferte die Restrukturierung eine Architektur, die auf die langfristige Datenstrategie der Organisation ausgerichtet ist.

• Die zerlegte Architektur skaliert effektiver als die monolithischen Flat Tables, sowohl bei Verarbeitung als auch bei neuen Anforderungen
• Upstream- und Downstream-Schnittstellen bleiben von Änderungen innerhalb des Vaults unberührt
• Wiederverwendbare Komponenten ersetzen das bisherige Muster redundanter Tabellenvarianten