Streaming Data Pipelines #2: Mini-Batch Processing with Spark Streaming

https://secure.meetupstatic.com/photos/event/e/5/4/9/600_464878697.jpeg

NB: Deze meetup is prima losstaand te volgen. Je hoeft niet bij eerdere meetups in de reeks aanwezig te zijn geweest.

Deze meetup gaat verder met de eerste stream processor in het streaming ecosysteem. We gaan o.a. in op verschillende concepten van tijd, de voordelen en nadelen van mini-batching, en het optimaal partitioneren van een distributed stream. Hierbij laten we zien hoe deze concepten in de praktijk naar voren komen in een veelgebruikte stream processor: Apache Spark Streaming.

Schema:

• 17:45 uur Ontvangst

• 18:00 uur Food & Drinks

• 18:30 uur High-speed Intro Apache Spark (Batch)

• 18:50 uur Mini-Batch Processing with Spark Streaming: Use Case, Architectuur, en Technieken

• 19:30 uur Hands-on

• 20.45 uur Conclusie & wrap up

High-speed Intro Apache Spark (Batch)

Aangezien Spark Streaming veel concepten van zijn grote broer Apache Spark hergebruikt, behandelen we kort de high-level concepten van Apache Spark. Apache Spark is een veelgebruikte MapReduce implementatie om batch processing te doen.

Mini-Batch Processing with Spark Streaming: Use Case, Architectuur, en Technieken
Bertjan Broeksema en Ruurtjan Pul (Big Data Engineers) bespreken samen concepten, architectuur, en technieken omtrent het stream processing ecosysteem. Daarbij gaan ze in op de voor en nadelen om een stream in mini-batches te verwerken. Daarbij gebruiken ze Spark Streaming, een veelgebruikte stream processor, als voorbeeld.

Hands-on in teams
We gaan in teams aan de slag om een streaming use case uit te werken met Spark Streaming. Hier leer je hoe je Spark Streaming in de praktijk kunt inzetten.

Benodigdheden voor het hands-on gedeelte:
• Laptop met Docker.
• Enige Java of Scala kennis (we gaan met de Java/Scala APIs van Spark aan de slag).

(This meetup is in Dutch)