如果不加机器,一年的时间数据暴增1000呗咋办?

开心延年 发布于 2014/02/17 16:45
阅读 1K+
收藏 3

搞了一年的mdrill项目,数据量膨胀了1000呗,还是依然原先的10台机器。

悲剧啊,真想说任何不给机器的需求都是耍流氓。

小小coding们,有没有感觉到程序员一般都不会PK呢?

时间点

数据量

事件

1212

小于2亿

adhoc首次上线

131

20~30亿

2台机器扩容到了10

1352

100亿

首次过百亿

13724

400亿

首次开源

1311

1000亿

全文检索模式ods_allpv_ad_d上线

1312

1500亿

实时数据以及无线数据的接入

142

3200亿

目前只有10台机器,硬盘使用率30%

mdrill地址:

https://github.com/alibaba/mdrill

加载中
0
中山野鬼
中山野鬼
算广告吗?哈。3200亿,相当于320G的量,我不知道你这个是bit呢,还是条数。哈。如果一条数据128byte,那么你这个就有40Tbyte的数据,10台机器,平均4Tbytes的数据。那么你每个机器的硬盘空间应该大约在 15Tbytes左右,机器没有替换过,12年的机器,15Tbytes的存储,也是好机器哦。哈。
0
lovejoy
lovejoy
使用率才30% 还好啊,cpu idle和内存的使用情况呢 ?
0
洞悉
洞悉
这是大神啊
0
小银
小银
坐等大神现身
0
开心延年
开心延年

引用来自“中山野鬼”的答案

算广告吗?哈。3200亿,相当于320G的量,我不知道你这个是bit呢,还是条数。哈。如果一条数据128byte,那么你这个就有40Tbyte的数据,10台机器,平均4Tbytes的数据。那么你每个机器的硬盘空间应该大约在 15Tbytes左右,机器没有替换过,12年的机器,15Tbytes的存储,也是好机器哦。哈。

亲,确实算广告啦。

A目前总的索引量为130T,总记录数3200亿,每天增量170亿,使用11台机器(后来又上了一台)

这一年数据增长迅速,如果按照这个速度增长下去,那么撞墙是迟早的事情。

Brin想写程序
Brin想写程序
预言下,墙在4800亿条。
0
0
色魔张大妈
色魔张大妈
这是大神啊
0
吐槽的达达仔
吐槽的达达仔

文档太少,好难用啊。。

能不能内嵌zookeeper,供本地开发测试啊??

返回顶部
顶部