Integration eines Hadoop-Systems in die bestehende klassische Business Intelligence (BI) Landschaft

Die bestehende BI-Infrastruktur bestehend aus einem Teradata Enterprise Data Warehouse mit ETL-Strecken (Extract, Transform, Load) abgebildet in Oracle Data Integrator soll um ein Hadoop-System erweitert werden. Hierzu sind Konzepte für Datenbewirtschaftung, -haltung und -auswertung notwendig, die sich von klassischen Ansätzen unterscheiden. Dies umfasst u.a. die Evaluation und Auswahl geeigneter Knowledge-Module des Oracle Data Integrators hinsichtlich der Datenbewirtschaftung, eines geeigneten Datenformats (Avro, CSV, JSON, ORC, Parquet) und Kompressionsverfahrens (Snappy, Zlib) hinsichtlich der Datenhaltung und einer geeigneten SQL-Engine (Hive/Tez, Presto, Spark) hinsichtlich der Datenauswertung.