Migration eines Hadoop Data Lake zur GCP - Erfahrungen bei Otto Group data.works

Java User Group Hamburg
Java User Group Hamburg
Public group

Google Hamburg

ABC-Straße 19 · Hamburg

How to find us

By arrival, you will walk through the round glassdoor leading to the entrance hall. Front left, you will see elevator where you find guiding signs that tell you which elevators to use in order to get to the 9th floor. (reception is on 3rd floor)

Location image of event venue

Details

"Ein kleiner Bildungsroman: Wie Otto Group data.works ihren Hadoop-Data-Lake zur Google Cloud Platform migrierte und die Teams erwachsen wurden"

Vor kurzem hat die Otto Group data.works ihren on-premise Hadoop-Data-Lake mit Web-Analyse-Daten von mehr als 60 online shops zur Google Cloud Platform migriert. Gleichzeitig stellten wir die Architektur von Batch- auf Datenstromverabeitung um, von Hadoop-Technologien wie MapReduce, HiveQL und Spark auf GCP Managed Services wie Dataflow, BigQuery und Pub/Sub und räumten den Produktteams dabei wesentliche Autonomie vom zentralen Infrastrukturteam ein. In diesem Vortrag erläutern wir unsere Beweggründe, unsere Strategie bei der Auswahl des Cloud-Anbieter und unser Vorgehen zur unterbrechungsfreien Daten- und Pipeline-Migration.

Referent:
Utz Westermann, Data Architect, Otto Group data.works GmbH

"Dezentales Security-Monitoring und Policy-Enforcement mit autonomen Teams"

Security-Monitoring und Policy-Enforcement werden oft durch zentrale IT-Abteilungen aufgesetzt und vorgegeben. Wesentliches Ziel unserer Migration
zu GCP war es aber, unsere Produkt-Teams unabhängig werden zu lassen. Dieser Vortrag stellt unsere Strategie und das Tooling vor, mit der wir
Security-Monitoring und Policy-Enforcement mit dezentralen, selbstorganisierenden Teams in Einklang bringen.

Referent:
Mahmoud Reza Rahbar Azad, Cloud Engineer, Otto Group data.works GmbH

"Wenn Würste und Kraken aus den Wolken fallen - Vereinnahmung von Datenströmen in BigQuery mit Dataflow / Apache Beam"

Der Talk stellt die Architektur unserer Eventpipeline "Wurstkraken" in der Google Cloud vor. Die Pipeline ist die zentrale Komponente für die
datenschutzkonforme Annahme, Validierung und strukturierte Bereitstellung von täglich mehrerer Millionen Kundeninteraktionen aus diversen
Datenquellen für unsere autonomen Produktteams und das sowohl im Datenstrom- als auch Batchbetrieb. Wir demonstrieren die Vorteile der Nutzung
von Managed Services wie PubSub, Cloud Functions, Dataflow und BigQuery und zeigen Herausforderungen und Grenzen auf.

Referent:
Thorsten Madlener, Data Architect, Otto Group data.works GmbH
Paul Friedrich, Data Architect, Otto Group data.works GmbH

"Otto Group data.works + GCP oder Einfach mal was auf die Straße bringen - Die Fallbeispiele Profile-API und Konzernmarketing-Datenbank 3.0"

Wir zeigen an zwei Fallbeispielen, wie wir unsere Produkte mit der GCP und ihren Managed Services zeitnah und stressfrei an den Start bringen.
Wir machen dabei einen Rundumschlag über BigQuery, App Engine, Endpoints, Cloud Functions, Dataflow, Kubernetes,
Identity-Aware Proxy, DataStudio, Stackdriver und was noch so dazu gehört.

Referent:
Christoph Stockhusen, Data Architect, Otto Group data.works GmbH
Jan Hicken, Data Architect, Otto Group data.works GmbH