lucene对数据库中5000W数据创建索引

捡到一毛线 发布于 2013/12/13 14:44
阅读 841
收藏 0
每条记录都创建!求大神的解决方案!
加载中
0
LucEsape
LucEsape
你的关键点呢?
捡到一毛线
捡到一毛线
关键就是如何对5000w数据高效处理
0
哎哎哎
哎哎哎

我觉得你创建索引一般都分为两个阶段 ,

一个是全量索引    

    全量索引的时候你可以分批量创建 (考虑到你的服务器的情况)比如说每次查询10万条数据创建索引,不需要一次性查询5000万条  

一个是增量索引

   根据时间段来增加索引

哎哎哎
哎哎哎
回复 @捡到一毛线 : 每次10万还是很快的 如果是java请处理好gc 不然内存会溢出
捡到一毛线
捡到一毛线
比如,一开始你拿到5000W万或者更多的数据,第一次创建索引不是很慢嘛
返回顶部
顶部