如何从千亿条记录中快速查询

pseudo 发布于 2018/06/14 11:23
阅读 378
收藏 0

想做个类似查md5这种哈希与明文映射查询的网站,粗略算了下得有5千亿条记录,每条记录由哈希->明文构成,通过查询哈希值得到明文。之前没搞过这么大的,了解过hadoop只适合做离线分析,但我想做实时秒级查询,而且数据量太大,纯文本要占用大约2Tb,单台机器只有500g空间。请问大家有什么思路。

加载中
0
dosshell
dosshell
把哈希值分区不就是了?
pseudo
pseudo
mysql分区?
0
滴滴滴老司机发车了

搜索引擎了解一下?

 

pseudo
pseudo
能具体点么,或者说下搜什么关键词。没时间从头研究搜索引擎原理
0
dosshell
dosshell

引用来自“dosshell”的评论

把哈希值分区不就是了?

mysql哈哈哈

0
mia0x75
mia0x75

分表分库,毫无难度。

0
巴拉迪维
巴拉迪维

这种情况下,不用 Elasticsearch 还等啥呢?ES 就是专门为这种情况诞生的啊。

pseudo
pseudo
好的,我看看,多谢
返回顶部
顶部