mongodb 全表读取,性能怎么把控

开源X 发布于 02/15 22:42
阅读 179
收藏 1

           有条件还好说,现在有一个需求可能只用一次,需要把所有历史数据读出来,通过mina或者netty发走,发送这块早就搞定了。

背景:

           一个mongo的表中几亿条数据,需要全部发送走,对方只能以tcp请求的方式接收,无法改变,我使用netty或者mina做好了发送的功能,要把表中的数据全部读取出来并发送走。不需要任按何查询条件,唯一条件是时间正序读取并发送。

          

目前想法是:

         先读取出表中的总数nCount,设置一个阀值比如readCount(比如2000条读一次),一共需要读取多少次,最后一次不够两千条,直接全部读取出来,不知道哪位还能给提供一下思路。

 

加载中
0
慕容狗蛋
慕容狗蛋

分页读取,保存发送的记录 (中断后下次接着发送)

开源X
开源X
对我也这么想的容错
0
mickelfeng
小伯恩
小伯恩
回复 @开源X : 肯定回卡住
开源X
开源X
数据太对,不知道直接find后,会不会卡主
0
东风飘兮神灵雨

定好协议,分包发,加上包的索引值和ack机制。如果失败,重发就行了,反正有索引值。

返回顶部
顶部