Name: Performance Monitoring in Spark Structured Streaming (online)
Start: 2022-11-03T18:00:00+01:00
End: 2022-11-03T19:30:00+01:00

Kolejna próba wznowienia naszych spotkań w 2022. Tym razem bierzemy się za Apache Spark, a dokładniej Spark Structured Streaming, z którym miałem przyjemność ostatnio spędzić kilka długich tygodni (!)

Podczas meetupu przedstawię narzędzia do monitorowania wydajności "data streams" / "streaming queries" w Apache Spark, ze szczególną uwagą na strumienie ze stanem (co zwykle właśnie stanowi o wyższości jednego rozwiązania do przetwarzania strumieni danych nad innymi).

W roli głównej zobaczymy Structured Streaming UI i "stateful data streams", StateStores (RocksDB) oraz "streaming aggregation" (korzystając z groupBy + withWatermark).

Czegoś brakuje? Coś niejasne? Masz pytania, sugestie lub chcesz pomóc, skontaktuj się ze mną na jacek@japila.pl. Każda pomoc mile widziana!

Proszę o nagłośnienie meetupu wśród Twoich znajomych. Dziękuję i zapraszam!

Jacek Laskowski

Warsaw Data Engineering

Technology

Open Source

Cloud Computing

Software Engineering

Hadoop

Big Data

Machine Learning

Data Analytics

Predictive Analytics

Java Virtual Machine

NoSQL

Distributed Systems

Stream Processing

Apache Spark

Apache Kafka

Software Development

Performance Monitoring in Spark Structured Streaming (online)

Online event

Share

Warsaw Data Engineering

Performance Monitoring in Spark Structured Streaming (online)

Warsaw Data Engineering

Details

Members are also interested in