Streaming ETLs with Kafka and Spark Declarative Pipelines in Apache Spark 4.1

Kontynuuj(e)my rozpoznanie możliwości Spark Declarative Pipelines (SDP) w najnowszej wersji Apache Spark 4.1 ze szczególną uwzględnieniem wsparcia dla Apache Kafka! 💰❤️

Podczas nadchodzącego spotkania przyjrzymy się przetwarzaniu strumieniowemu danych w SDP (streaming ETL / streaming data processing pipelines) z danymi w Apache Kafka.

Niespodzianką spotkania będzie "speaker duo" w osobach Pawła i Jacka.

Czego się nauczysz (dowiesz podczas kodowania na żywo) o Spark Declarative Pipelines (SDP):

1. Zbudujesz i uruchomisz aplikację ETL do przetwarzania danych strumieniowo z Apache Kafka.
2. Użyjesz SQL i Python (zgodnie z własnymi upodobaniami)
3. Rozbudujesz aplikację z punktu 1. zgodnie z podejściem Medallion Architecture (z warstwami bronze, silver i gold).

Pomysł dla odważnych: Jeśli chciał(a)byś całość kodować u Ciebie na żywo (z moją pomocą słowną), odezwij się wcześniej lub bezpośrednio na początku spotkania. Ty prezentujesz, ja opowiadam. Brzmi ciekawie?

W razie pytań, sugestii lub chcesz pomóc, skontaktuj się ze mną na jacek@japila.pl. Każda pomoc mile widziana!

Proszę o nagłośnienie meetupu wśród Twoich znajomych. Dziękuję i zapraszam!