Skip to content

Kafka Beijing Meetup第五次活动

Photo of Guozhang Wang
Hosted By
Guozhang W.
Kafka Beijing Meetup第五次活动

Details

签到开始时间: 下午1:45

活动安排:
=================

  1. 开场介绍, 秦江杰, 阿里巴巴 (5min)

  2. 深度剖析 Kafka Consumer Rebalance 机制和改进协议,王国璋,Confluent (40min)

  3. A simple practice of Kafka on Kubernetes,陈水强,阿里巴巴 (40min)

  4. Apache Kafka 在 Apache Doris 数据加载中的应用,陈明雨,百度 (40min)

  5. 自由交流(30min)

分享人介绍:
=================

王国璋,Apache Kafka PMC,Kafka Streams 联合作者。现就职于 Confluent,任流数据处理系统架构师和技术负责人。此前曾就职于 LinkedIn 数据架构组任高级工程师,主要负责实时数据处理平台,包括 Apache Kafka 和 Apache Samza 系统的开发与维护。

题目:深度剖析 Kafka Consumer Rebalance 机制和改进协议

Kafka Consumer 的重平衡(Rebalance)机制如今已经被Streams 和 Connect 所倚重,而其低效率问题也逐渐显现。为了提升Kafka Consumer Group 的规模数量,在最近发布的 2.3 和 2.4 版本中我们重点更新了 Kafka Consumer 的重平衡机制,用新式的增量合作式(Incremental Cooperative)协议代替了之前的及早(Eager)动态协议。目前我们在Kafka Connect 和 Kafka Streams 上的实验发现,新的协议可以支持更大规模的消费群组。

------------------

陈水强,华中科技大学计算机专业硕士研究生,2018年毕业后加入阿里巴巴计算平台事业部实时计算团队,参与 Apache Flink及开源生态开发。

题目:A simple practice of Kafka on Kubernetes

本次分享将首先简要介绍容器化和kubernetes框架的相关概念,随后介绍了在Kubernetes上部署Kafka分布式集群的流程,以及在实践过程中遇到的问题。

------------------

陈明雨 百度资深研发工程师,Apache Doris(Incubating) 核心研发

题目:Apache Kafka 在 Apache Doris 数据加载中的应用

Apache Doris 是一款基于MPP的数仓系统,能够使用SQL进行高并的发点查询和高吞吐即席查询。
本次简要介绍 Apache Doris 的功能特性,主要介绍如何通过 Kafka 实现不丢不重的数据例行导入功能,并帮助 Doris 实现不同数据源的接入能力。

=================

Photo of Beijing Kafka Meetup group
Beijing Kafka Meetup
See more events