Im Rahmen des Projektes wird für den Kunden ein auf MS SQL Server basierendes Data Warehouse (DWH) konzipiert und aufgebaut. Für den Import und Integration der Unternehmensdaten ins DWH wird ein ETL-Prozess (Extrahieren, Transformieren, Laden) implementiert. Die Kundendaten, die in verschiedenen Dateien und Formaten monatlich verfügbar sind, werden durch den ETL-Prozess aus den entsprechenden Dateien mittels der durch 'SQL Server Machine Learning Services' bereitgestellten Python-Komponente extrahiert und in eine STAGING Datenbank übernommen. Nach der anschließenden Transformation werden die Daten in einer DWH-Datenbank abgelegt. Darauf basierend erstellt der Kunde KPI-Reports zur detaillierten Auswertung seiner Geschäftsaktivitäten.
Ergänzung
Die Quelldaten werden dem Kunden in individuell gestalteten Formaten zur Verfügung gestellt. Die PTA entwickelt mit verschiedenen Python-Bibliotheken flexible Prozeduren für jedes Quelldatensystem, um die für den Kunden relevanten Daten zu identifizieren und diese in eine STAGING Datenbank zu extrahieren. Mittels SQL-Steuerungsprozeduren, Funktionen, Views, etc. werden die Daten normiert und transformiert, damit diese in geeigneter Form in einer Sternschema-DWH-Datenbank bestehend aus Fakten- und Dimensionstabellen abgelegt werden können. Die komplette Konfiguration und Steuerung des ETL-Prozesses wird hierbei von einem eigens entwickelten Framework übernommen.
Fachbeschreibung
Dem Kunden werden von seinen Managern und aus seinen internen Systemen monatlich Finanz- und Investitionskennzahlen zu seinen Logistik-Assets (Güterwaggons, Container, Wechselbrücken) in verschieden gestalteten Quellformaten zur Verfügung gestellt. Die PTA unterstützt bei der Anforderungsanalyse, um die zu extrahierenden Daten zu identifizieren, sowie Berechnungsalgorithmen zu entwickeln. Ziel ist es, mit dem DWH eine einheitliche, transparente und damit analysierbare Datenplattform zu etablieren, welche für die flexible Erstellung von aussagekräftigen KPI-Reports mit MS PowerBI geeignet ist. Dem Kunden wird damit die Möglichkeit gegeben, seine Geschäftsaktivitäten einfach und detailliert auszuwerten.