如何对同一时间段内的数据错乱排序

陈小轩 发布于 2013/11/13 11:23
阅读 291
收藏 0

数据库中一张表,要按查询条件并时间为第一要素给分页显示

可是爬虫在爬取的时候都是某天同个时间段去爬一家网站,这就导致按时间排出的结果,同一家网站数据联在一起,现在要求是按时间排序要出现不同的网站内容,而且该链接的内容可重现。。

我的方法是:时间精确到天,并给随机值,按时间  随机值排序。。

select id,domain, a,b 
from (select id, domain,  date_format(time,'%Y-%m-%d') a ,rand(3) b from open_product  
        where    thumbnail is not null) xxx  
where a is not null  order by a desc, b limit 100;

1390442 rows in set (1 min 47.76 sec) -----   = =|| 太慢

而且django rawsql 无法使用queryset的方法count,本身连__len__也木有,无法用django的pagination进行分页

各位有没啥好的办法。。。。





加载中
0
l
littledoo

在插入数据的时候添加随机数字列,查询时使用大跨度单位(如天)分组,然后根据这个随机数字列排序。

其实也就是把随机的过程提到了插入的时候,而不是查询的时候。

陈小轩
陈小轩
。。。上面不许添加随机列= v
返回顶部
顶部