Streaming Queries in Spark Declarative Pipelines (Apache Spark 4.1.0)

Niebawem nowe wydanie Apache Spark 4.1.0, a my wracamy do Spark Declarative Pipelines i streaming queries (Spark Structured Streaming).

Czego się nauczysz (dowiesz podczas kodowania na żywo):

1. Stworzysz projekt SDP (z pomocą starego dobrego uv już w wersji 0.9.10! 🔥)
2. Poznasz dekorator @dp.append_flow do definiowania przepływów (może jednak pozostańmy przy flows, co?! 🤷‍♂️)
3. Poznasz dwa nie-dekoratory dp.create_sink i dp.create_streaming_table
4. (opcjonalnie) Użyjemy Delta Lake

W razie pytań, sugestii lub chcesz pomóc, skontaktuj się ze mną na jacek@japila.pl. Każda pomoc mile widziana!

Proszę o nagłośnienie meetupu wśród Twoich znajomych. Dziękuję i zapraszam!