rabbitmq延迟队列时间两天，并且有几十万条数据，这样的还适合用延迟队列来做吗

smallcatooo 发布于 2020/10/16 13:25

阅读 2K+

答案 5

RabbitMQ

有个功能需要处理客户数据，两天以后再做处理，并且有几十万条数据，这样的场景还适合用延迟队列吗，会不会存太久了

加载中

smallcatooo

2020/10/20 14:55 iPhone

最终我们解决的方式是：先入库，然后每5分钟查询过期两天的数据（这里为了确保数据不遗漏，是用时间段来控制，每一次执行完，把结束时间记录下来，就是下次的开始时间），并把数据推送到mq中，然后消费者消费数据。并另起一个任务，每小时监测一次数据处理情况。

评论 (2) 引用此答案举报

HSuperYue

2021/02/18 15:55

用定时任务就没必要再推送到mq中了吧，过期的数据直接处理。但是定时任务时间精度不高，而且定时查表影响性能

回复举报

我是一名程序员

2020/10/16 16:06

保存数据库，开个定时也行

评论 (0) 引用此答案举报

gammey

2020/10/16 16:32

这种还是入库吧

评论 (3) 引用此答案举报

smallcatooo

2020/10/17 19:51

如果用延迟队列做，因为数据量大，只把id放入队列中可以吗

回复举报

smallcatooo

2020/10/17 19:44

是要入库，如果用定时任务做，要求必须5分钟处理一次过期两天的数据。为了解决效率问题，一种是将查询出来的5分钟内的数据放入mq，加大消费者数量；还有一种是定时处理，在xxljob中多建一些任务实例，以不同的参数来调用接口处理数据。哪种好呢？

回复举报

HSuperYue

2020/10/16 18:38

对时间精度要求不高可以写到数据库定时执行，因为时间误差要求小，必须定时扫描频率高。如果对时间精度要求高，用队列是最好的，几十万数据也不算大

评论 (2) 引用此答案举报

smallcatooo

2020/10/17 19:33

这些数据最终也会入库，请问只把这些数据的id放入队列中可以吗

回复举报

最近登录：2022/03/10 17:02

全部

1K+ 阅读

373 阅读

3K+ 阅读

1K+ 阅读

3K+ 阅读

rabbitmq延迟队列时间两天，并且有几十万条数据，这样的还适合用延迟队列来做吗

sma...的其他提问

热门资讯

热门软件