Getting started with Delta Lake

This is a past event

18 people went

Details

** Nowa miejscówka ** nowa miejscówka ** nowa...

Spotykamy się w Sages / Stacja IT na Nowogrodzkiej.

Wracamy do naszych spotkań i bierzemy na tapetę Delta Lake (https://delta.io/) for ACID transactions in Apache Spark™ and big data workloads.

Nie wiem, co to dokładnie jest, ani jak się tego używa, ale jestem ciekaw(ski). Skoro mamy nowe spotkanie, to pomyślałem, że i temat też niech będzie nowiuteńki and shiny.

Agenda:

1. Przykładowe użycie Delta Lake w aplikacji sparkowej ze Spark Structured Streaming 2.4.4 (to powinno dać nam pogląd, jak tego używać)

2. Przegląd kodów źródłowych (to powinno dać nam pogląd, co to jest)

Korzystamy z IntelliJ IDEA Community Edition (z wtyczką do Scali), sbt, oraz Apache Spark 2.4.4.

Zakładamy podstawową wiedzę dotyczącą programowania w Scali oraz korzystania z sbt. Jeśli którekolwiek z podanych jest Ci obce, a chciał(a)byś to zmienić, zapraszamy!

W razie pytań i wątpliwości (np. czy meetup jest dla Ciebie), skorzystaj z możliwości komentowania poniżej.

Official language: Polish + Scala