有了Elasticsearch,为什么还要使用hadoop

KnightWang 发布于 06/19 20:21
阅读 2K+
收藏 0

大佬们好,现在Elasticsearch已经支持了海量数据存储,并且有优秀的查询性能,对于做数据分析感觉已经够用了,在这种情况下还需要使用hadoop的生态吗?Elasticsearch可以取代hadoop吗?还请给指点一下。

加载中
0
tsingliu
tsingliu
用什么仅仅只是工具而已,只要能满足自己的需求,选择自己熟悉的是使用
0
hehe007
hehe007

elasticsearch集群节点和数据量有上限瓶颈。

KnightWang
KnightWang
回复 @hehe007 : 现在公司准备直接将es当做数据仓库使用,我感觉优点不太可行- 。 -
hehe007
hehe007
回复 @KnightWang : elasticsearch用于处理亿级别的数据速度还是可以的,优势在于索引,不在于数据量。单集群1000分片,百亿级别的数据量都很轻松,只要注意合理分片、数据均匀分布,集群优化设置等。
hehe007
hehe007
回复 @KnightWang : hadoop只是理论上没有瓶颈,但集群达到一定量后就受限于网络、内存等。万兆光纤下,Elasticsearch单集群节点数超过500,总分片数达到3000+,集群的均衡和优化合并都容易出现问题,分片很容易出现无法自动分配的情况;单索引单分片数据量超过20G搜索速度就明显下降很多。
-虎口脱险-
-虎口脱险-
那么我就想问了,hadoop就没有理论上的瓶颈,你是数据能达到多少PB之后出现瓶颈呢?ES固然也是有瓶颈,那么你的数据量能达到他的瓶颈和上限吗?
KnightWang
KnightWang
回复 @小肥肉 : 也就是说elasticsearch本身不适合存储巨大的数据量,而hadoop在这方面没有瓶颈问题是吗?
下一页
0
河卵石
河卵石

这两个的应用场景的侧重点不一样

0
-虎口脱险-
-虎口脱险-

应用场景不同,注重的功能也不同,自然对应的解决方向也不同,es虽然可以海量存储,查询快速,但是频繁的数据变更不是他的优势;而hadoop可以做的东西就不紧紧是存储了;

-虎口脱险-
-虎口脱险-
回复 @KnightWang : 可以根据自己的场景使用,如果数据变更不是很频繁,完全可以采用es作为存储,特别是6.x以后的版本,提供了更强大的功能(如统计等)
KnightWang
KnightWang
如果没有数据的更新那我就可以使用elasticsearch是吧
0
易冥天
易冥天
其实有时候是不太够用的,特别是数据分析方面,可能es更侧重于搜索吧,而在数据分析方面没有搜索那么优秀,在数据量足够大的情况下,还是不能做一次性操作。
返回顶部
顶部