第十四期“原力释放 云原生可观测性分享会”开启预约啦!“可观测性技术实践系列”由云原生社区主办,本期直播由云杉网络发起,并联合SOFAStack共同举办,聚焦“浅谈可观测性存储问题的解决之道”主题。将分享蚂蚁集团统一可观测性平台的工程技术体系,逐步揭秘蚂蚁在可观测领域的技术选型与技术演进方面的思考,以及为大家介绍 DeepFlow AutoTagging 机制如何为所有观测信号统一注入标准的、丰富的标签,解密支撑 AutoTagging 高性能的关键机制 SmartEncoding。
- 直播日期:1月11日(周三)
- 直播时间:20:00~21:30
- 直播平台:云原生社区视频号/b站、云杉网络视频号、SOFAStack社区b站、分布式实验室视频号
- 直播问答互动文档:https://docs.qq.com/doc/DREdBVUZlVW1QV2xk
第一位演讲嘉宾
陈伟荣 蚂蚁集团 高级技术专家
自15年加入阿里集团以来,一直在可观测性领域工作,是一名在该领域摸爬滚打了7年有余的老兵。在阿里工作期间,是电商可观测系统 Sunfire 的创始团队成员。17年本人转岗至蚂蚁,随后协同并带领团队逐步升级蚂蚁监控到蚂蚁统一可观测平台 antmonitor。过程中产出了可观测实时采集计算平台 pontus,开源时序数据库 CeresDB 等关键技术成果。
目前正在负责蚂蚁可观测技术与架构团队,整体推进蚂蚁集团可观测领域的核心技术研发与架构演进工作。
演讲时间
1月11日(周三)20:00~20:50
演讲主题
《蚂蚁集团可观测性与时序数据库实践》
本次分享主要介绍了蚂蚁集团统一可观测性平台的工程技术体系。通过对技术架构的分享,透视为何蚂蚁能将自基础设施到业务,乃至客户端的可观测能力融合到统一平台,为公司运维与稳定行保障提供基础底盘。分享中将会着重介绍两大核心技术点:大规模实时采集与预计算系统、自研并已开源的时序数据库 CeresDB。本次分享会逐步揭秘蚂蚁在可观测领域的技术选型与技术演进方面的思考。
演讲提纲
- 蚂蚁集团整体可观测性平台介绍与架构分享
- 蚂蚁可观测平台采集与实时计算技术
- 蚂蚁可观测平台时序存储 CeresDB 与其演进
听众收益
- 收获一个大型互联网公司在统一可观测平台建设方面的成功经验
- 理解大型互联网公司在建设可观测性平台上的技术选型与技术演进方面的思考
- 理解业界可观测性平台建设中重难点核心技术(实时计算与时序数据库)
- 如何协调开源与公司自研之间的关系
第二位演讲嘉宾
宋贞 DeepFlow 高级技术专家
2012年加入云杉,从云平台、SDN网络到云原生可观测性平台,对云基础设施和云原生应用系统有深厚的知识沉淀和实战经验,目前主要负责DeepFlow Server端的关键技术研究与开发。
演讲时间
1月11日(周三)20:50~21:30
演讲主题
《DeepFlow AutoTagging 10x 性能提升实战》
为了探究云原生应用系统的内部状态,我们希望向观测数据中注入尽量丰富的标签,这些标签以往通过开发人员手动在代码中注入,或通过配置 Promtheus、OpenTelemetry 实现,一方面造成了很大的工作量和资源开销,另一方面也导致不同信号源的数据标签不一致形成数据孤岛。
DeepFlow 依靠 AutoTagging 机制可以为所有观测信号统一注入标准的、丰富的标签,很好的解决了这些问题。本次直播将会为大家解密支撑 AutoTagging 高性能的关键机制 SmartEncoding。通过对标签数据的分离编码和查询时关联,我们将存储开销降低了 10~50 倍,并且能支持无限量的 K8s label/annotation 等信息作为业务自定义标签。通过 DeepFlow-server 提供的 SQL API,这些编码和关联机制对使用者完全透明,就像在一张大宽表上直接查询。
演讲提纲
- AutoTagging:为所有观测信号统一注入标准的、丰富的云基础设施及云原生应用标签
- SmartEncoding 分离编码:通过提前编码降低标签写入的资源消耗
- SmartEncoding 查询关联:为所有观测信号注入无限量的自定义标签
- 存储和查询观测数据中已有的(开发自定义、Prometheus、OpenTelemetry)标签
- 后续迭代计划:支持更丰富的自定义标签、支持通过 OTLP 协议 Export 数据
听众收获
- DeepFlow AutoTagging 和 SmartEncoding 的实现方法
- 如何 10x 降低可观测性数据平台的资源成本