Ein global tätiger Energieerzeuger nutzt ein Data Warehouse in der Microsoft Azure Cloud für das Front Office Reporting. Zur Verbesserung der Performance in Richtung Real Time wird das verwendete Azure SQL Data Warehouse auf Snowflake als DB umgestellt und die Ladeprozeduren werden auf neue Technologien migriert.
Das Azure SQL Data Warehouse wird durch Snowflake ersetzt. Der Event-basierte Deal-Import wird, um die technologische Basis der Zielarchitektur effizient nutzen zu können, neu entworfen. Aktuell werden die Deal-Daten in Chunks gruppiert, als Bulk-Imports in das SQL Data Warehouse (DWH) geladen. Mit Snowflake kann ohne Gruppierung performanter importiert werden. In der neuen Architektur werden die zuvor in Stored Procedures enthaltenen Regeln als Python-Scripts implementiert und mithilfe der Azure Batch Services ausgeführt. Der Aufruf der Batch Tasks erfolgt über eine REST API mit Talend. Eine effiziente Berechtigungssteuerung wird damit gewährleistet. Die bestehenden Stored Prozeduren aus dem DWH werden in Python mit integriertem Snowflake SQL übersetzt. In Snowflake vorhandene Features, wie das Management von Zeitzonen und Time Travel Funktionalitäten für Analysen mit verschiedenen Versionsständen, werden genutzt. Weiter werden die Talend Jobs für den Datenimport angepasst und auf Talend 7 migriert.
In der Reporting-Anwendung werden Deal-Stammdaten, Volumen-, Preiszeitreihen, Zeitreihen zu Erzeugungsprognosen und Risikokennzahlen oder Ergebnisse von WhatIf-Analysen importiert. Beim Import erfolgt eine Prüfung und Bereinigung der Daten inkl. Ersatzwertbildung sowie das Matching auf die Zeit- und Domänenstruktur des DWHs. Zusätzliche Kennzahlen werden berechnet oder können über die Funktionalitäten des Reportingfrontends Tableau vom Anwender berechnet werden. Zusätzliche SnowflakeExperten unterstützen im Projekt bei der Berücksichtigung der Best Practices für die Datensicherheit, und der technischen Implementierung.