Dies ist eines von 4644 IT-Projekten, die wir erfolgreich mit unseren Kunden abgeschlossen haben.

Wobei dürfen wir Sie unterstützen?

Weißes Quadrat mit umrandeten Seiten rechts oben

Datenintegration zur Digitalisierung von Energiehandels-Back-Office-Prozessen

Projektdauer: 1 Jahr, 3 Monate

Kurzbeschreibung

Das Ziel dieses Projekts ist die Digitalisierung des Back-Office-Abstimmungsprozesses. Durch die Konsolidierung mehrerer Datenquellen in einer einzigen Datenbank werden die Daten für das Abstimmungstool leicht verfügbar, was die Abläufe vereinfacht. Die Software bietet eine konfigurierbare Datenpipeline vom Energy Trading and Risk Management (ETRM)-System (Endur) zu einem Standard-Abstimmungstool (Xceptor). Sie ermöglicht die Abstimmung von Geschäftsdaten mit anderen Systemen, um Datenkonsistenz zu gewährleisten. PTA ist verantwortlich für: Analyse von Daten- und Konfigurationsanforderungen, Entwurf und Spezifikation der Datenstreaming-Pipeline und Überwachung der Softwareentwicklung. Das Projekt ist eine maßgeschneiderte Software, die auf standardisierten Streaming-Plattformen basiert.

Ergänzung

Dieses Projekt zielt darauf ab, eine zuverlässige und flexible Schnittstelle zu erstellen, die Daten von einem Kafka-Topic zu einer SQL-Datenbank streamen kann. Die Schnittstelle ermöglicht es dem Benutzer, die Nachrichten anhand bestimmter Kriterien zu filtern und auszuwählen, welche Datenfelder in die Datenbank geschrieben werden sollen. Die Schnittstelle verwendet Java und Apache Flink als Framework für die Datenverarbeitung und -transformation. Die Rolle von PTA ist es, die Geschäftsanalyse und die Spezifikation für das Projekt zu liefern.

Fachbeschreibung

Das Ziel des Projekts ist es, den Abstimmungsprozess zu automatisieren und zu optimieren. Die Quelldaten stammen aus dem ETRM-System (Energy Trading and Risk Management) Endur und werden vorübergehend in einer SQL-Datenbank gespeichert. Das endgültige Zielsystem ist die Abstimmungssoftware Xceptor. Die Schnittstelle verarbeitet komplexe JSON-Nachrichten aus dem ETRM-System, die strukturierte Daten mit hierarchischen Bäumen und Arrays enthalten. Sie transformiert diese Informationen in ein SQL-Relationalschema und speichert sie in einer SQL-Datenbank. Ein wesentliches Merkmal ist die Flexibilität, die Änderungen an den Datenfeldern und der Struktur der JSON-Nachrichten durch Konfigurationsanpassungen ermöglicht, ohne Code neu schreiben zu müssen. Die Quelldaten werden über Confluent Kafka geliefert. Die Schnittstelle arbeitet in Echtzeit und nutzt Apache Flink für hohen Durchsatz, hohe Parallelität und Zuverlässigkeit.

Überblick

Projektzeitraum01.10.2023 - 31.12.2024

Haben wir Ihr Interesse geweckt?

Dr. Andreas Schneider, grauhaariger Mann mit Brille

Dr. Andreas Schneider

Head of Energy