Ausbau des Monitorings und Alertings einer Business Intelligence Plattform
Kurzbeschreibung
Ziel des Projektes ist der Ausbau einer Reihe von Monitoring Dashboards zur Sicherstellung des Betriebs eines Enterprise Data Warehouse (EDWH). Die Überwachung soll gemäß dem Prinzip Single Point of Truth einen Überblick über die aktuellen und historischen Zustände aller relevanten Prozesse und Objekte des EDWHs geben. Die vorhandenen Dashboards werden um weitere Metriken ergänzt und aussagekräftiger strukturiert. Die zugrunde liegende Datenbank wird zwecks Vereinheitlichung des Alertings auf eine neue Version gebracht und die Bereitstellung der Metrikdaten wird zentralisiert.
Ergänzung
Beim Betrieb eines (E)DWH stellt der valide Datentransfer eine zentrale Herausforderung dar. Angefangen bei der Anbindung vieler Quellsysteme im DWH bis hin zur Verarbeitung der Daten durch ETL/ELT Prozesse in die höheren Schichten des DWH können Abbrüche zur Störung im Reporting führen. Darüber hinaus stellt auch die Datenmenge sowie die Aktualität der Daten einen wichtigen Indikator über den Zustand des DWHs dar. Hierzu werden vorhandene Metriken wie die Ausführungszeit der ETL-Prozesse oder die Anzahl der verarbeiteten Datensätze erweitert und neue Metriken wie die Aktualität der Quellsystemdaten und der Speicherverbrauch einzelner Datenbereiche bzw. Komponenten definiert. Anhand der Zeitreihen werden neben den dedizierten Panels für die Komponenten des DWHs zusätzlich gruppierte Ampel-Panels für einen Gesamtzustand in Grafana erstellt. Für eine zeitnahe Behebung der Störungen wird durch das Upgrade der Time Series Database InfluxDB auf die Version 2.0 ein einheitliches Alerting ermöglicht.
Fachbeschreibung
Die Bewertung und Analyse der fürs DWH relevanten Prozesse und Objekte mittels diverser Tools und Quellen nimmt viel Zeit in Anspruch und führt zu einer verzögerten Reaktion auf Störungen oder Unregelmäßigkeiten. Mit der Vereinheitlichung und Zusammenführung aller relevanten Metriken in einem zentralen Monitoring wird eine Bewertung des Zustandes benutzerfreundlich, anschaulich und übersichtlich auf einen Blick ermöglicht. Ein flexibles Alerting über diverse Benachrichtigungskanäle wie bspw. E-Mail oder Mircosoft Teams mittels InfluxDB ermöglicht einfache und komplexe Analysen des Zustandes des DWHs basierend auf den aktuellen und historischen Zeitreihen.