Spark Declarative Pipelines cntd.

(Kolejny raz zaproszenie wyłącznie na meetupie 🤷‍♂️ It should be no surprise any longer 😜)

Pogłębiamy nasze znajomości ze Spark Declarative Pipelines (SDP) w nadchodzącym Apache Spark 4.1.

Dla zwrócenia Twojej uwagi, Lakeflow Declarative Pipelines (LDP) (znane poprzednio jako Delta Live Tables (DLT)) w Databricks to managed Spark Declarative Pipelines z vanilla open-source Apache Spark.

Czego się nauczysz (dowiesz na żywo):

1. Stworzysz projekt SDP
2. Stworzysz definicje przepływów w SQL i Python
3. Poznasz sposób "połączenia" SQL, Python oraz Spark Connect do stworzenia Spark Declarative Pipelines.

W razie pytań, sugestii lub chcesz pomóc, skontaktuj się ze mną na jacek@japila.pl. Każda pomoc mile widziana!

Proszę o nagłośnienie meetupu wśród Twoich znajomych. Dziękuję i zapraszam!