Kafka Shanghai Meetup | Kafka Meetup 上海站暨DataPipeline TechDay

Apache Kafka 自2011年首发之日起，已经从最开始的大规模消息系统，发展成为功能完善的分布式流式处理平台，其高性能、可扩展的特性，使其非常适合大数据、日志等场景下大规模流数据的实时处理。超过三分之一的世界 500 强公司都在它们的大规模集群中使用着 Kafka。此次Kafka Meetup 上海站暨上海DataPipeline TechDay，我们邀请到了Confluent流数据处理系统架构师和技术负责人王国璋、DataPipeline架构师吕鹏、携程大数据平台实时计算平台负责人潘国庆、阿里巴巴实时计算平台高级技术专家秦江杰和唯品会唯品会张勇华五位行业大咖分享Kafka最新研究成果以及行业应用案例。

==========================

时间表：

13:30 - 14:00 签到 / Sign in

14:00 - 14:10 开场白 / Opening

14:10 - 14:55 Apache Kafka，从0.7到1.0：那些年我们踩过的坑 （王国璋，Confluent）

14:55 - 15:25 携程实时计算平台架构与实践（潘国庆，携程）

15:25 - 15:55 基于大数据背景下的Kafka Connect实践 （吕鹏，DataPipeline）

15:55 - 16:10 茶歇 / Tea Break

16:10 - 16:40 基于Kafka1.0建立企业级消息系统平台的思考及实现（张勇华，唯品会）

16:40 - 15:10 详解Flink基于Kafka事务的严格一次语义实现 （秦江杰，阿里巴巴）

15:10 – 15:30 交流时间 / Networking time

==========================

分享人介绍：

王国璋，Apache Kafka PMC，Kafka Streams 作者。于康奈尔大学计算机系取得博士学位，主要研究方向为数据库管理和分布式数据系统。现就职于 Confluent，任流数据处理系统架构师和技术负责人。此前曾就职于 LinkedIn 数据架构组，主要负责实时数据处理平台，包括 Apache Kafka 和 Apache Samza 系统的开发与维护。

题目：Apache Kafka，从0.7到1.0：那些年我们踩过的坑

自从2011年Kafka项目捐献给Apache基金会到现在，已经走过了七个年头。从最早的“分布式消息系统”，到现在集成了分发、存储和计算的“流式数据平台”，Kafka经历了哪些挑战？又经过了什么样的演进变化？

1. 从硬件的发展趋势，展现 Kafka 架构的演进过程。
2. 从Kafka开发和维护经验，分享分布式系统工程实践的通理。
3. 开源数据系统的开发经验，如何维护和发展一个开源社区。

--------------------------

潘国庆，携程大数据平台实时计算平台负责人，2016年加入携程，主要从事携程实时计算平台的构建与演进、以及携程实时特征平台的搭建，在实时计算领域积累了丰富的经验。

题目：携程实时计算平台架构与实践

1. 携程实时计算平台的演进之路
2. 实时架构设计与曾经踩过的坑
3. 实时计算在携程的实践
4. 未来规划

--------------------------

吕鹏，目前就职于 Datapipeline 担任架构师，负责数据传输和ETL方面的架构和优化工作，曾有多个大数据平台和数据仓库架构和搭建经验，曾工作在 Talend 和 销售易大数据部，对 ETL 领域有着深刻的理解和认识。

题目：基于大数据背景下的Kafka Connect实践

1. 大数据时代下企业级数据面临的主要问题和挑战
2. 大数据平台上的Kafka Connect 实践案例：
   2.1. Kafka Connect 下数据仓库greenplum 同步实践以及优化策略。
   2.2. Kafka Connect 下 hive 同步实践。
3. 部署运维Kafka Connect中遇到的坑以及解决方案。
4. 总结：大数据平台下 Kafka Connect 的一些优势，以及 datapipeline 未来的相关工作。

--------------------------

张勇华，唯品会架构师。

题目：基于Kafka1.0建立企业级消息系统平台的思考及实现

1. 随着业务系统接入增多，对集群和元数据资源(Topic/Group)的管理显得尤为重要，急需建立统一平台来管理系统资源及认证授权接入服务；
2. 提升并发消费场景下的高可靠，及消费异常后如何优雅解决消费重试问题；
3. 如何实现延时消息的投递功能，改善延时精度的方式；
4. 原生kafka支持组间广播对动态增长的业务组申请造成困境，如何实现组内广播来改善现状；
5. 集群故障时如何快速有效迁移服务等问题介绍

--------------------------

秦江杰，阿里巴巴实时计算平台高级技术专家。硕士毕业于卡耐基梅隆大学，曾任职于LinkedIn参与Apache Kafka开发，他也是Apache Kafka PMC member。

题目：详解Flink基于Kafka事务的严格一次语义实现

在流处理系统中，端到端的严格一次的语义只有当输出的Sink支持时才可以实现。在Kafka 0.11中增加了对事物的支持，使得其他系统可以利用这一特性实现严格一次的语义。本分享将详细介绍Flink是如何利用这Kafka一特性来实现端到端的严格一次语义的。

==========================