Streaming Queries in Spark Declarative Pipelines (Apache Spark 4.1.0)
Szczegóły
Niebawem nowe wydanie Apache Spark 4.1.0, a my wracamy do Spark Declarative Pipelines i streaming queries (Spark Structured Streaming).
Czego się nauczysz (dowiesz podczas kodowania na żywo):
- Stworzysz projekt SDP (z pomocą starego dobrego uv już w wersji 0.9.10! 🔥)
- Poznasz dekorator @dp.append_flow do definiowania przepływów (może jednak pozostańmy przy flows, co?! 🤷♂️)
- Poznasz dwa nie-dekoratory dp.create_sink i dp.create_streaming_table
- (opcjonalnie) Użyjemy Delta Lake
W razie pytań, sugestii lub chcesz pomóc, skontaktuj się ze mną na jacek@japila.pl. Każda pomoc mile widziana!
Proszę o nagłośnienie meetupu wśród Twoich znajomych. Dziękuję i zapraszam!
Machine Learning
Data Engineering
Predictive Analytics
Python
Open Source