Dies ist eines von 4635 IT-Projekten, die wir erfolgreich mit unseren Kunden abgeschlossen haben.

Wobei dürfen wir Sie unterstützen?

Weißes Quadrat mit umrandeten Seiten rechts oben

Datenanbindung von Webservice mit Apache Airflow

Projektdauer: 2 Monate

Kurzbeschreibung

Im Rahmen des Projektes sollen Daten bzw. Informationen von mehreren Webservices über eine REST-Schnittstelle für den Kunden zugänglich gemacht werden. Die PTA entwickelt für dieses Anwendungsszenario einen Prototyp mithilfe des Open-Source-Werkzeugs bzw. Frameworks Apache Airflow.

Ergänzung

Der Kunde möchte Informationen bzw. Daten von verschiedenen Webservices in das unternehmenseigene Warenwirtschaftssystem auf Basis von IBM iSeries (AS/400) integrieren. Mit Apache Airflow ist es möglich, unterschiedliche Datenbanksysteme (SQL, NoSQL, GraphQL etc.) anzubinden und Daten im Sinne des (E)xtract-(T)ransform-(L)oad (ETL) zu verarbeiten. Die PTA evaluiert Apache Airflow als Werkzeug zur Implementierung von Workflows bzw. ETL-Strecken, um die Daten von Webservices in das Zielsystem zu überführen. Die Workflows in Apache Airflow werden vollständig in der Skriptsprache Python beschrieben. Am Beispiel eines Prototypen untersucht die PTA die Eignung des Tools hinsichtlich der Anforderungen des Kunden. Hierbei stehen nicht nur die Gestaltung der Workflows bzw. ETL-Prozesse im Vordergrund, sondern auch Aspekte wie Benutzerverwaltung, Scheduling und Monitoring der Prozesse.

Fachbeschreibung

Apache Airflow wurde von Airbnb entwickelt und wird von vielen großen IT-Firmen (Facebook, Yahoo, Intel etc.) im Alltag als Workflow-Management-System bzw. ETL-Werkzeug eingesetzt. Apache Airflow wird häufig in der Praxis für Datenintegration in den Bereichen Business Intelligence (BI) und Data Science (Machine Learning) eingesetzt. Über ein ansprechendes, webbasiertes User Interface ist es einfach möglich, Prozesse bzw. Workflows zu erstellen (Instantiate), auszuführen (Scheduling) und zu überwachen (Monitoring). Workflows werden in Apache Airflow als gerichtete Graphen (DAGs) repräsentiert. Ein Knoten im Graphen entspricht einer Task und die Kanten zwischen einzelnen Knoten repräsentieren die Abhängigkeiten untereinander. Apache Airflow lebt von einer großen Community, die das Framework mit eigens entwickelten Plug-ins erweitern.

Überblick

Projektzeitraum14.10.2020 - 30.11.2020

Haben wir Ihr Interesse geweckt?

Marcus Rödiger, ein Mann mit Brille und braunen Haaren

Marcus Rödiger

Head of Consumer Goods & Retail