大规模指标储存平台 Uber M3

大规模指标储存平台 Uber M3

Apache 2.0
Google Go
跨平台
Uber
2018-08-28
王练

M3  是 Uber 开源的一个基于分布式时序数据库 M3DB 构建的度量平台,可每秒聚合 5 亿个指标,并且以每秒 2000 万笔的速度持续存储这些结果。

M3 目前拥有超过 66 亿条时序数据,每秒聚合5亿个指标,并在全球范围内每秒持续存储 2000 万个指标(使用 M3DB),批量写入将每个指标持久保存到不同区域的三个副本中。它还允许工程师编写度量策略,以不同的时间长度和不同粒度对资料进行保存。这使得工程师和数据科学家能以不同的留存规则,精细和智能地存储有不同保留需求的时序数据。

基于 Uber 日益增长的度量存储工作负载的经验,M3 具备以下特性:

  • 优化指标管道的每个部分,为工程师提供尽可能多的存储空间,以实现最少的硬件支出成本。

  • 通过自定义压缩算法 M3TSZ 确保数据尽可能高度压缩以减少硬件占用空间。

  • 由于多数数据资料为“一次写入,永不读取”,尽量保持精简的内存占用空间以避免内存成为瓶颈。

  • 尽可能避免压缩整理,通过缩小采样,以增加主机资源的利用率,从而实现更多并发写入,并提供稳定的写入/读取延迟。

  • 时序数据采用本地存储,无需时刻警惕高写入量操作。

的码云指数为
超过 的项目
加载中

评论(0)

暂无评论

每秒聚合5亿个指标,Uber 开源大规模指标平台 M3

Uber 近日开源了已在内部使用多年的指标平台 —— M3 ,这是一个基于分布式时序数据库 M3DB 构建的度量平台,可每秒聚合 5 亿个指标,并且以每秒 2000 万笔的速度持续存储这些结果。 Uber 表...

2018/08/28 08:14

没有更多内容

加载失败,请刷新页面

没有更多内容

暂无问答

Uber 业务预测系统实践

Forecasting is ubiquitous 如何利用预测来构建更好的产品和服务 定量预测方法可分为:基于模型(model-based)或因果关系,统计方法(statistical methods)和机器学习方法(machine learn...

2018/10/04 22:17
317
0
switch结构2016/03/08

Switch 03/08 一、结构 switch(){ case *: ;break;……default: ;brek;} 练习:输入一个日期,判断这一年第几天? Console.Write("请输入月份"); int m = int.Parse(Console.ReadLine()); Co...

2016/05/12 14:08
3
2
mac下安装maven

安装maven其实很简单,可惜眼戳,路径少了个字母,写下来告诉自己,不要那么粗心,顺便记录一下maven的安装,以后可能用到。

2014/11/07 09:46
114
0
cortex-m3,基于qemu(lm3s6965evb)模拟器(第一篇)

让我们先来了解一下cortex-m3和stm32、lm3s之间的关系。arm是一家只设计cpu的公司,所以会授权硬件公司开发具体的处理器,arm设计的是处理器的核心部件,之后的一些核心外围的部件由具体的硬...

2014/10/15 08:41
578
1
BPI-M3 新镜像:ubuntu-mate-16.04 支持GPU与硬解

BPI-M3 新镜像:ubuntu-mate-16.04 支持GPU与硬解 2016-04-25-ubuntu-mate-16.04_Xenial_gpu_mpv_1080p_bt-bpi-m3_beta-sd-emmc.img.zip...

2016/04/28 16:29
690
1
[嵌入式裸机课程]Cortex-M3开发实训班

Cortex-M3开发实训,为您量身定制,手把手教你做项目,学会为止!

2014/12/03 19:45
29
0
备忘:mac下配置JDK

修改文件/etc/profile 添加如下代码 JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.7.0_45.jdk/Contents/Home M3_HOME=/Users/mengqiang/Downloads/apache-maven-3.1.1 PATH=$JAVA_HOM...

2013/11/14 00:01
1K
0
关于V10PL45-M3/86A

关于V10PL45-M3/86A 特征 ·超薄型 - 典型高度1.1mm ·非常适合自动放置 ·Trench MOS肖特基技术 ·低正向压降,低功耗 ·高效运行 ·符合MSL等级1,每J-STD-020,LF最高峰值260℃ ·符合RoH...

07/16 15:19
6
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部