Skip to content

Kafka Shenzhen Meetup 第一次活动

Photo of Guozhang Wang
Hosted By
Guozhang W. and ziza
Kafka Shenzhen Meetup 第一次活动

Details

签到开始时间: 下午1:30

活动安排:
=================

  1. 13: 30 - 14: 00, 入场 / 开场

  2. 14: 00 - 14:40, Apache Kafka的过去,现在,和未来。饶军,Confluent

  3. 14: 40 - 15:20, Kafka集群自动化运营实践。闫二辉,腾讯

  4. 15: 20 - 16:00, 知乎基于Kubernetes的Kafka平台的设计和实现。白瑜庆,知乎

  5. 16: 00 - 16:20, 茶歇

  6. 16: 20 - 17:00, CKafka在人脸识别PASS中的应用。陈新宇,格灵深瞳

  7. 17: 00 - 17:40, Kafka高性能揭秘及优化。闫燕飞,腾讯

  8. 17: 40 - 17:50, 合影留念

分享人介绍:
=================

饶军是Confluent的联合创始人,该公司主要业务是基于Apache Kafka提供流数据平台。在创建Confluent之前,他在LinkedIn领导了Kafka的开发。Jun Rao是Apache Kafka项目委员会主席(PMC chair),也是Apache Cassandra的贡献者。

题目:Apache Kafka的过去,现在,和未来

2010年,LinkedIn开始开发Kafka。2011年,Kafka成为Apache开源项目。从那以后,Kafka的使用在各种企业中迅速增长。目前,超过30%的世界500强公司已经在使用Kafka。本次演讲会先介绍为什么Kafka最开始成为一个非常受欢迎的发布订阅消息系统。接着会介绍Kafka近期增加的企业级功能。最后会介绍未来如何把Kafka建成实时流数据处理平台。

------------------

闫二辉,2012年加入腾讯基础架构部,腾讯中间件团队研发负责人。

题目:Kafka集群自动化运营实践

大数据时代的来临使得Apache Kafka的使用范围远不止是消息通道。腾讯云上部署的Kafka集群日处理消息量超过数万亿条,并且还在高速增长。如此大规模的Kafka集群每天都会面临故障节点的移除、新节点的加入、节点间数据倾斜、用户所需Kafka实例的动态升降配、Borker资源利用率不均衡、不同区域间数据迁移等各种各样的需求,如何能够高效智能的发现异常,生成修复任务并自动执行,避免完全依赖运维人员人肉运维是腾讯中间件团队必须要考虑的事情,本文将重点分享腾讯云CKafka是如何解决上述问题实现大规模自动化运营的。

------------------
白瑜庆,知乎技术中台工程师,对于Kafka,容器等技术有较为深刻的理解。

题目:知乎基于Kubernetes的Kafka平台的设计和实现

Kafka 是知乎技术平台的核心基础组件,承载知乎的消息和日志服务。随着业务不断发展,对Kafka 集群的稳定性和易用性、资源隔离、自动化运维、容量管理等方面提出更高的要求。我们采用 Kubernetes 和容器技术搭建 Kafka 平台,实践可伸缩的有状态服务在 Kubernetes 方案。平台通过容器技术、服务注册发现、监控和报警和定制客户端,提供从客户端到服务端的高可用方案。

本次演讲将介绍知乎 Kafka 平台在 Kubernetes 有状态服务、集群管理、自动化运维和高可用方面的心得和体会。

------------------

陈新宇,深瞳云团队工程师,对kafka的使用和kafka在人工智能服务平台的应用有较深的理解和经验。

题目:CKafka在人脸识别PASS中的应用

Kafka是深瞳云数据流处理中的关键基础组件,是图片流实时人脸识别平台的核心。格灵深瞳的大规模图片人脸识别服务使用了腾讯云优化过的CKafka,应用在业务数据导入、缓存、输出以及监控与日志收集等各个环节,连接了各个数据处理模块,为实时的人脸特征提取、比对及分析提供了保障。这次从应用层面介绍Kafka在深度学习人脸识别平台架构中的位置及重要性,并介绍一些Connect等Kafka的生态组件的应用与遇到的问题。

------------------

闫燕飞,2014加入基础架构部,腾讯云高级工程师,主要从事中间件相关产品研发,现为腾讯云ckafka研发负责人。

题目:Kafka高性能揭秘及优化

Apache Kafka得益于其分布式、高性能、低延迟、数据有序等等特性,被越来越多的流式计算组件选作核心数据管道及存储。当前腾讯云上部署的Kafka日处理消息已经达数万亿,在对Kafka的长期持续运营中,腾讯中间件团队结合业务实际情况对Kafka部分技术细节进行优化,将资源利用率发挥到了极致。这次我们重点对Kafka高性能的关键点以及腾讯云Kafka团队对其进行的优化点进行分享。

=================

Photo of Apache Kafka® Meetup Shenzhen group
Apache Kafka® Meetup Shenzhen
See more events
腾讯大厦2层2F多功能厅
深圳市南山区高新科技园中区一路腾讯大厦 · Shenzhen