Migration einer Front Office Reporting Lösung von Azure SQL Data Warehouse nach Snowflake on Azure

Das Azure SQL Data Warehouse wird durch Snowflake ersetzt. Der Event-basierte Deal-Import wird, um die technologische Basis der Zielarchitektur effizient nutzen zu können, neu entworfen. Aktuell werden die Deal-Daten in Chunks gruppiert, als Bulk-Imports in das SQL Data Warehouse (DWH) geladen. Mit Snowflake kann ohne Gruppierung performanter importiert werden. In der neuen Architektur werden die zuvor in Stored Procedures enthaltenen Regeln als Python-Scripts implementiert und mithilfe der Azure Batch Services ausgeführt. Der Aufruf der Batch Tasks erfolgt über eine REST API mit Talend. Eine effiziente Berechtigungssteuerung wird damit gewährleistet. Die bestehenden Stored Prozeduren aus dem DWH werden in Python mit integriertem Snowflake SQL übersetzt. In Snowflake vorhandene Features, wie das Management von Zeitzonen und Time Travel Funktionalitäten für Analysen mit verschiedenen Versionsständen, werden genutzt. Weiter werden die Talend Jobs für den Datenimport angepasst und auf Talend 7 migriert.