Let's talk about Azure Databricks & Apache Spark!

Hey Tech Heads,

heute Abend beschäftigen wir uns in den Talks intensiv mit dem Thema Spark. Zwei Mitarbeiter von Microsoft werden über Managed Spark on Azure berichten. Frank Marmann (inovex) ergänzt um eine Einführung in Stream Processing mit Apache Spark.

Vorläufiger Zeitplan

18.30 Uhr Doors Open

19.00 Uhr Hans Wieser & Sascha Dittmann (Microsoft) – Azure Databricks

Azure Databricks ist eine Apache Spark-basierte Analyseplattform, die für die Microsoft-Azure-Cloud-Dienstplattform optimiert ist. Databricks wurde zusammen mit den Gründern von Apache Spark entworfen und ist in Azure integriert, um Folgendes zu ermöglichen: Einrichtung mit nur einem Klick, optimierte Workflows und einen interaktiven Arbeitsbereich für die Zusammenarbeit von Daten-Spezialisten, Data Engineers und Business Analysts. Hans (EMEA Black Belt Team) und Sascha (Cloud Solution Architect) stellen das Thema in der Microsoft Cloud hands-on vor.

19.45 Uhr Pizza, Bier & Networking

20.15 Uhr Frank Marmann (inovex) – Echtzeitdatenverarbeitung mit Apache Spark Structured Streaming

Structured Streaming ist die mit Spark 2.0 eingeführte high-level API für skalierbare und fehlertolerante Echtzeitverarbeitung von Datenströmen. Das Ziel ist die Vereinheitlichung von Batch- und Stream-Processing. Die Entwicklung von Streaming-Anwendungen soll dadurch losgelöst von den Komplexitäten der Datenströme möglich sein. Seit dem initialen Release wurden weitere Aspekte wie Stateful Processing oder Continuous Processing ergänzt. Auch die Integration von MLlib Modellen wurde verbessert und erweitert somit die Anwendungsmöglichkeiten von Structured Streaming.

In seinem Vortrag stellt Frank den aktuellen Stand von Spark Structured Streaming vor. Dazu gibt er zunächst eine Einführung in die Echtzeitdatenverarbeitung mit Apache Spark, die wesentlichen Konzepte und APIs. Anschließend wird er die verschiedenen Verarbeitungsmodelle erläutern.