hadoop集群配置,有关公司请上报集群配置。

尼古丁诱惑的男人 发布于 2015/06/10 10:18
阅读 799
收藏 1

        如今 大数据这种高大上的东西很多小公司都在试水中~~~包括俺们公司。玩了二个多月的hadoop 感觉已经玩不动了。为什么呢?机器真的带不动鸟!问了做大数据群里的大神们,公司集群30+台 64G内存,4核CPU.包括昨天我问了一个社区专家,做千万级别IM系统的大牛。我们公司的业务只需要6-7台集群 64G内存,就足够了!还附加了一句经典的话:很多人听说hadoop使用在廉价的机器上,这句话害死了很多人! 
        现在来描述下俺们公司给我们做集群的配置:在一个服务器上给你三台虚拟机,一台1G内存,1核CPU。让你去处理亿级数据。包括测试,开发上线!我把这句话说到QQ群中。很多人都笑了!好吧!我们承认公司不舍得买机器,因为我们也不是专业的大数据工程师,公司需要这方面的人才,又不肯去挖人。一定很贵吧这样的人。所以就让我们来研究这个。二个月了啊,我的步伐卡在机器配置上了。HBASE 在集群中不断的宕机  不断的宕机。人都要从隔壁腾讯大厦楼顶上跳下去了!只为一句:老板!买几台机器啊!!


加载中
2
永和
永和
这么好的贴居然没有人顶
0
sunny5156
sunny5156
老板!买几台机器啊!!
0
chenxiaomeng
chenxiaomeng
没钱 搞什么大数据 没事找抽
尼古丁诱惑的男人
尼古丁诱惑的男人
哈哈。 一言难尽啊
0
顾海林
顾海林

Hdfs的机器吃硬盘,跑任务的时候吃cpu,hbase的机器巨吃内存,赶紧的让你老板买机器啊。

0
尼古丁诱惑的男人
尼古丁诱惑的男人

引用来自“顾海林”的评论

Hdfs的机器吃硬盘,跑任务的时候吃cpu,hbase的机器巨吃内存,赶紧的让你老板买机器啊。

0
coin_
coin_
公司3台集群的路过
coin_
coin_
每天也就100G的日志处理
0
Jordan
Jordan

才一台服务器也就算了,还开了三个虚拟机,1G内存1个CPU来处理亿级的数据...

你们公司有多扣啊

估计databricks那帮人来了也干不动吧

0
LinuxWind
LinuxWind

这种是没有沟通好吧,配置这么低,最多是研究一下部署。

就这配置,还处理亿级的数据,楼主夸张了吧。

尼古丁诱惑的男人
尼古丁诱惑的男人
哈哈 我早就说了。这个配置测试,搭建哈 环境还可以。。
0
徐欽
徐欽
这个很正常,我公司一台服务器开7个VM,全部装win08,跑iis,.net,并且要求每个VM至少能支撑1千个并发以上。
0
lyle_luo
lyle_luo
没有机器怎么干活,想马儿跑,又不想马儿吃草
返回顶部
顶部