Dies ist eines von 4635 IT-Projekten, die wir erfolgreich mit unseren Kunden abgeschlossen haben.

Wobei dürfen wir Sie unterstützen?

Weißes Quadrat mit umrandeten Seiten rechts oben

Migration einer Front Office Reporting Lösung von Azure SQL Data Warehouse nach Snowflake on Azure

Projektdauer: 3 Jahre, 7 Monate

Kurzbeschreibung

Ein global tätiger Energieerzeuger nutzt ein Data Warehouse in der Microsoft Azure Cloud für das Front Office Reporting. Zur Verbesserung der Performance in Richtung Real Time wird das verwendete Azure SQL Data Warehouse auf Snowflake als DB umgestellt und die Ladeprozeduren werden auf neue Technologien migriert.

Ergänzung

Das Azure SQL Data Warehouse wird durch Snowflake ersetzt. Der Event-basierte Deal-Import wird, um die technologische Basis der Zielarchitektur effizient nutzen zu können, neu entworfen. Aktuell werden die Deal-Daten in Chunks gruppiert, als Bulk-Imports in das SQL Data Warehouse (DWH) geladen. Mit Snowflake kann ohne Gruppierung performanter importiert werden. In der neuen Architektur werden die zuvor in Stored Procedures enthaltenen Regeln als Python-Scripts implementiert und mithilfe der Azure Batch Services ausgeführt. Der Aufruf der Batch Tasks erfolgt über eine REST API mit Talend. Eine effiziente Berechtigungssteuerung wird damit gewährleistet. Die bestehenden Stored Prozeduren aus dem DWH werden in Python mit integriertem Snowflake SQL übersetzt. In Snowflake vorhandene Features, wie das Management von Zeitzonen und Time Travel Funktionalitäten für Analysen mit verschiedenen Versionsständen, werden genutzt. Weiter werden die Talend Jobs für den Datenimport angepasst und auf Talend 7 migriert.

Fachbeschreibung

In der Reporting-Anwendung werden Deal-Stammdaten, Volumen-, Preiszeitreihen, Zeitreihen zu Erzeugungsprognosen und Risikokennzahlen oder Ergebnisse von WhatIf-Analysen importiert. Beim Import erfolgt eine Prüfung und Bereinigung der Daten inkl. Ersatzwertbildung sowie das Matching auf die Zeit- und Domänenstruktur des DWHs. Zusätzliche Kennzahlen werden berechnet oder können über die Funktionalitäten des Reportingfrontends Tableau vom Anwender berechnet werden. Zusätzliche SnowflakeExperten unterstützen im Projekt bei der Berücksichtigung der Best Practices für die Datensicherheit, und der technischen Implementierung.

Haben wir Ihr Interesse geweckt?

Dr. Andreas Schneider, grauhaariger Mann mit Brille

Dr. Andreas Schneider

Head of Energy

Jetzt Kontakt aufnehmen

Zum Umgang mit den hier erhobenen Daten informieren wir in unserer Datenschutzerklärung.

Datei herunterladen

Zum Umgang mit den hier erhobenen Daten informieren wir in unserer Datenschutzerklärung.