云+社区技术沙龙 Kafka meetup 深圳站

吉衣OSC 发布于 2018/04/02 16:12
阅读 5
收藏 0

如果说 2018 年是技术大爆炸年,那么 Apache Kafka 绝对是其中闪亮的新星。 自Kafka 从首发之日起,已经走过了快八个年头。Kafka 已经从最开始的大规模消息系统,发展成为功能完善的分布式流式处理平台,其高性能、可扩展的特性,使其非常适合大数据、日志等场景下大规模流数据的实时处理。超过三分之一的福布斯 500 强公司都在它们的大规模集群中使用着 Kafka。

Apache Kafka 为什么能得到巨头们的青睐?都有哪些成熟的落地场景?怎样结合上下游插件实现完整的数据分析和处理? 云+社区技术沙龙 Kafka meetup 首次于深圳举办,带你纵观 kafka 的过去、现在和未来。揭秘 kafka 高性能的奥秘,介绍Kafka在自动化运维、基于K8S容器的实践方案,并介绍其在AI+人脸识别中的应用。

深圳站日程:

时间 主题 演讲嘉宾
13:30-14:00 交流、开发者、动手实验室体验
14:00-14:40 Apache Kafka的过去,现在,和未来 饶军 / Confluent 联合创始人,Kafka开发者之一
14:40-15:20 Kafka集群自动化运营实践 闫二辉 / 专家工程师
15:20-16:00 知乎基于Kubernetes的Kafka平台的设计和实现 白瑜庆 / 知乎技术中台存储平台负责人
16:00-16:20 茶歇
16:20-17:00 CKafka在人脸识别PASS中的应用 陈新宇 / 格灵深瞳 深瞳云 数据流研发负责人
17:00-17:40 kafka高性能揭秘及优化 闫燕飞 / 高级工程师
17:40-17:50 合影留念

本期主题有:

1.Apache Kafka的过去,现在,和未来

演讲嘉宾:饶军,Confluent联合创始人,Kafka开发者之一

Confluent的联合创始人,该公司主要业务是基于Apache Kafka提供流数据平台。Jun Rao是Apache Kafka项目委员会主席(PMC chair),也是Apache Cassandra的贡献者。

内容简介:2010年,LinkedIn开始开发Kafka。2011年,Kafka成为Apache开源项目。从那以后,Kafka的使用在各种企业中迅速增长。目前,超过30%的世界500强公司已经在使用Kafka。本次演讲会先介绍为什么Kafka最开始成为一个非常受欢迎的发布订阅消息系统。接着会介绍Kafka近期增加的企业级功能。最后会介绍未来如何把Kafka建成实时流数据处理平台。

2.Kafka集群自动化运营实践

演讲嘉宾:闫二辉,专家工程师

2012年加入腾讯基础架构部,腾讯中间件团队研发负责人。

内容简介:大数据时代的来临使得Apache Kafka的使用范围远不止是消息通道。腾讯云上部署的Kafka集群日处理消息量超过数万亿条,并且还在高速增长。如此大规模的Kafka集群每天都会面临故障节点的移除、新节点的加入、节点间数据倾斜、用户所需Kafka实例的动态升降配、Borker资源利用率不均衡、不同区域间数据迁移等各种各样的需求,如何能够高效智能的发现异常,生成修复任务并自动执行,避免完全依赖运维人员人肉运维是腾讯中间件团队必须要考虑的事情,本文将重点分享腾讯云CKafka是如何解决上述问题实现大规模自动化运营的。

3.知乎基于Kubernetes的Kafka平台的设计和实现

演讲嘉宾:白瑜庆,知乎技术中台储存平台负责人

知乎技术中台工程师,对于Kafka,容器等技术有较为深刻的理解。

内容简介:Kafka 是知乎技术平台的核心基础组件,承载知乎的消息和日志服务。随着业务不断发展,对Kafka 集群的稳定性和易用性、资源隔离、自动化运维、容量管理等方面提出更高的要求。我们采用 Kubernetes 和容器技术搭建 Kafka 平台,实践可伸缩的有状态服务在 Kubernetes 方案。平台通过容器技术、服务注册发现、监控和报警和定制客户端,提供从客户端到服务端的高可用方案。本次演讲将介绍知乎 Kafka 平台在 Kubernetes 有状态服务、集群管理、自动化运维和高可用方面的心得和体会。

4.CKafka在人脸识别PASS中的应用

演讲嘉宾:陈新宇,格灵深瞳 深瞳云 数据流研发负责人

对kafka的使用和kafka在人工智能服务平台的应用有较深的理解和经验。

内容简介:kafka是深瞳云数据流处理中的关键基础组件,是图片流实时人脸识别平台的核心。格灵深瞳的大规模图片人脸识别服务使用了腾讯云优化过的CKafka,应用在业务数据导入、缓存、输出以及监控与日志收集等各个环节,连接了各个数据处理模块,为实时的人脸特征提取、比对及分析提供了保障。这次从应用层面介绍kafka在深度学习人脸识别平台架构中的位置及重要性,并介绍一些connect等kafka的生态组件的应用与遇到的问题。

5.如何利用小程序技术解决企业销售难题

演讲嘉宾:闫燕飞,高级工程师

2014年加入基础架构部,腾讯云高级工程师,主要从事中间件相关产品研发,现为腾讯云ckafka研发负责人。

内容简介:Apache Kafka得益于其分布式、高性能、低延迟、数据有序等等特性,被越来越多的流式计算组件选作核心数据管道及存储。当前腾讯云上部署的kafka日处理消息已经达数万亿,在对kafka的长期持续运营中,腾讯中间件团队结合业务实际情况对kafka部分技术细节进行优化,将资源利用率发挥到了极致。这次我们重点对kafka高性能的关键点以及腾讯云kafka团队对其进行的优化点进行分享。

【联合主办】

      

【直播支持】

加载中
返回顶部
顶部