Developing Streaming Data Sources V2 for Spark Structured Streaming

This is a past event

6 people went

Location image of event venue

Details

Asia's back from holidays and so are our meetups at Applause! :)

Wracamy do Apache Spark i bierzemy się za praktyczne poznanie Data Source API V2 w Spark Structured Streaming.

Skoro praktycznie, to dowiesz się, w jaki sposób rozszerzać Spark Structured Streaming o wsparcie dla nowych źródeł danych. Spark Structured Streaming korzysta z Spark SQL, który przychodzi z Data Source API V2 (m.in. DataSourceReader and StreamWriteSupport APIs).

Proszę zainstalować sbt, Apache Spark 2.4 oraz IntelliJ IDEA Community Edition (z wtyczką do Scali).

Zakładamy podstawową wiedzę dotyczącą programowania w Scali oraz korzystania z sbt. Jeśli którekolwiek z podanych jest Ci obce, a chciał(a)byś to zmienić, zapraszamy!

W razie pytań i wątpliwości (np. czy meetup jest dla Ciebie), skorzystaj z możliwości komentowania poniżej.

Official language: Polish + Scala