一篇文章让你读懂ELK在CDN质量监控中的价值

Yennis 发布于 2016/10/31 14:38
阅读 246
收藏 3

一篇文章让你读懂ELK在CDN质量监控中的价值

灵活调配ELK,适应大数据场景

数说事实

在开篇之前,先简单的列举下我们线上ELK的真实数据。目前自建的ELK集群主要接入了自建CDN的日志,以及多个应用业务系统。

  • T级带宽CDN日志的导入
  • 高峰索引速率150K/S+
  • 高峰每日量级80亿条/天+
  • 高峰每日存储量2T+

1. 为什么是ELK?

传统的日志是分散到各台机器上,无法实现日志实时分析,且故障时只能进行事后追查。极为不便。基于上面问题,需要将散落在各业务机上的日志收集汇总起来,进行集中存储,实时分析以及实时告警。我们在调研了目前主流的多种日志解决方案后,基于下面原因选择了ELK作为业务收集分析平台。

  • 提供采集,存储,分析,展示的整套解决方案,且开源
  • 性能高效,可进行平行扩展
  • 开包即用,上手较为容易,且二次开发成本较低
  • 丰富的结构化查询语法,提供restful api可以方便的对接业务系统

2. ELK线上使用场景

线上的CDN系统以及多套业务系统已经接入了ELK集群,其中CDN业务系统的日志量级较大。而ELK集群主要为CDN系统下面的两个子系统提供服务。

CDN节点产生的各种日志后,经采集系统汇总到ELK集群中,CDN的多种子系统就可以通过ELK丰富的API来进行数据分析和处理。

2.1 CDN质量监控子系统

CDN的质量监控,在对CDN节点进行正常的监控外,也同时对CDN日志进行汇总,分析,处理,挖掘出各种性能指标,并且基于这些指标针对CDN系统进行监控并且持续不断的优化。而这些性能参数的挖掘和分析都是基于ELK集群。 我们CDN质量监控系统采用横向和纵向的纬度,对CDN系统的运营状态进行分析监控。横向的典型纬度包括:项目,区域,ISP,省份,机房,集群,频道,节点等。

纵向的典型纬度包括:响应状态码,命中率,平均下载速度,平均响应时间,文件类型分布等。且质量监控子系统支持数据下钻功能,下钻到最底层到具体日志时,可以直接使用API从ELK中获取数据。


2.2 CDN用户自助子系统

ELK为CDN用户自助平台提供了面向用户的统计分析模块的数据支撑,同时也提供频道的原始日志下载。

其中统计分析模块中的带宽统计,访客统计,URL分析,来源分析,目录分析,回源分析等数据都是从ELK中提取数据进行分析展示。而原始日志则是经过ELK集群的gzip模块压缩输出产生。

详细介绍可以点击以下链接

http://dwz.cn/4sOI5Y

加载中
返回顶部
顶部