Java文件写入大批量数据,怎么保证没有重复记录

菜小小白 发布于 2016/11/08 10:03
阅读 795
收藏 0
  将内存中的数据每隔一段时间写入到dbf文件中,怎么根据一个字段保证没有包含同样字段的记录。保证文件中没有重复的记录。
加载中
0
菜小小白
菜小小白
类似上交所深交所的行情文件一样。
0
思维特无敌
思维特无敌
用KV数据库做缓存呗,检验K值
0
Feng_Yu
Feng_Yu
考虑下利用数据库的唯一性索引来约束,然后从数据库导出字段存入文件即可
0
爱吃大肉包
爱吃大肉包
尝试redis的存byte, 然后用bloom-filter 算法搞定
菜小小白
菜小小白
现在的问题就是,一方只解析dbf文件,所以现在就是把他们要的数据放到dbf文件中,然后他们去读。
0
jaakan
jaakan
用MD5?
jaakan
jaakan
回复 @菜小小白 : 数据的byte信息可以用MD5处理下 得到的是一个唯一ID,不过好像有人说MD5在极端情况下也会出现重复
菜小小白
菜小小白
MD5?也可以?
0
小王来了
小王来了
判断就行。放到nosql里面速度很快
菜小小白
菜小小白
现在就是接受服务的一方只有解析dbf文件的接口,所以现在就是要生成dbf文件给他们,其他的他们不能用。
0
抢小孩糖吃
抢小孩糖吃
key-value的key,或者uuid
返回顶部
顶部