What we’re about
Grupa wymiany wiedzy i rozpoznawania narzędzi do rozproszonego przetwarzania danych w trybie wsadowym i strumieniowym (Streaming and Batch Distributed Data Processing).
Narzędzia przewodnie: Apache Spark, Delta Lake, Unity Catalog, Databricks, Apache Iceberg (z możliwością sięgnięcia po Apache Polaris, dbt, trino, Apache Flink, Apache Kafka (z Kafka Streams)).
Główne języki programowania: Python, SQL, Scala, Java
Upcoming events
1
Spark Declarative Pipelines in Apache Spark 4.1
·OnlineOnlineApache Spark 4.1 wydany i możemy przyjrzeć się Spark Declarative Pipelines w oficjalnym wydaniu.
Czego się nauczysz (dowiesz podczas kodowania na żywo) o Spark Declarative Pipelines:
- Zbudujesz i uruchomisz prostą aplikację ETL do przetwarzania danych wsadowo
- Użyjesz SQL i Python (zgodnie z Twoimi upodobaniami)
- Wczytasz dane z lokalnych plików na Twoim dysku
- Uruchomisz Apache Kafka i zbudujesz bardziej wyrafinowaną aplikację ETL do przetwarzania danych strumieniowo
Pomysł dla odważnych: Jeśli chciał(a)byś całość kodować u Ciebie na żywo (z moją pomocą słowną), odezwij się wcześniej lub bezpośrednio na początku spotkania.
W razie pytań, sugestii lub chcesz pomóc, skontaktuj się ze mną na jacek@japila.pl. Każda pomoc mile widziana!
Proszę o nagłośnienie meetupu wśród Twoich znajomych. Dziękuję i zapraszam!13 attendees
Past events
75
