Java 大量数据导入csv的问题

一抹真 发布于 2015/03/17 16:35
阅读 2K+
收藏 0

1,订单数据在oracel数据库中,目前60万+的数据,未来可能更多

2,web页面将条件查询出来的数据导入到csv文件中。导入的过程中,订单数据会发生变化

目前功能实现:分页查询,核心条件是订单状态,导出只取订单状态=2的数据,订单状态可为1、2、3、4等,pageSize=15000,将分页查询的结果写入csv。

遇到的问题:在分页点前后订单状态变化的话会出现重复数据,该怎么解决重复数据的问题


加载中
0
中山野鬼
中山野鬼
csv文件只是某个时间点的局部数据的持续存储镜像。如果能理解我这句话,或许你就不那么纠结了。哈。
中山野鬼
中山野鬼
@一抹真 一个csv文件不要整太大。几M字节处理。一个时间点的数据存储,需要多个csv文件来组织,而不要组织在一个csv文件中。
一抹真
一抹真
回复 @中山野鬼 : 数据量太大 在程序中不好整合啊
中山野鬼
中山野鬼
@一抹真 csv文件,仅仅是对某个时刻某个部分数据的记录,不同csv文件的数据整合这是额外的工作。哈。
一抹真
一抹真
问题是 在分页点前后的订单状态变化的话 会查出来重复数据 csv只是一种文件格式 导入excel也可以 怎么避免重复数据呢
0
t
tang晓龙
导出csv的数据就在数据源里设置一个标识,导出后就设置标识,下次导出时,将设置为已标识的数据过滤掉就可以了呗
一抹真
一抹真
多个用户同时下载数据怎么办?
返回顶部
顶部