7
回答
跪求服务器宕机的解决方案
科大讯飞通用文字识别100000次/天免费使用。立即申请   

@黄亿华 你好,想跟你请教个问题:黄大,如果webmagic正在跑的过程中突然宕机了有什么好的解决方案吗?怎么实现服务器重启后任务自动运行?

举报
bliver
发帖于5年前 7回/1K+阅
共有7个答案 最后回答: 5年前

建议你用RedisScheduler,然后保证这台redis机器的可用性,这样Spider宕机后可以从宕机位置开始继续爬。

如果要更加可靠,也可以用mysql这类关系数据库作为Scheduler。

我不是高手,只是一个新手,我觉得服务器宕机的原因很多,软件/硬件问题,兼容性问题,安全性问题都会导致宕机。说错了别骂我,我是自己这样觉得的,不代表其他人认可哦

服务器宕机一般的原因是:服务器硬件资源不足、程序本身bug,占用大量的硬件资源,线程等等。如果以上两种方案处理还不能满足你的需求,请采用集群双机热备。或者采用分布式减轻服务器压力。

引用来自“黄亿华”的答案

建议你用RedisScheduler,然后保证这台redis机器的可用性,这样Spider宕机后可以从宕机位置开始继续爬。

如果要更加可靠,也可以用mysql这类关系数据库作为Scheduler。

如果用apache的activeMq,是不是需要自己重写一个scheduler?唉,书到用时方恨少啊。

引用来自“ywooer”的答案

引用来自“黄亿华”的答案

建议你用RedisScheduler,然后保证这台redis机器的可用性,这样Spider宕机后可以从宕机位置开始继续爬。

如果要更加可靠,也可以用mysql这类关系数据库作为Scheduler。

如果用apache的activeMq,是不是需要自己重写一个scheduler?唉,书到用时方恨少啊。
@黄亿华 黄大……

引用来自“ywooer”的答案

引用来自“ywooer”的答案

引用来自“黄亿华”的答案

建议你用RedisScheduler,然后保证这台redis机器的可用性,这样Spider宕机后可以从宕机位置开始继续爬。

如果要更加可靠,也可以用mysql这类关系数据库作为Scheduler。

如果用apache的activeMq,是不是需要自己重写一个scheduler?唉,书到用时方恨少啊。
@黄亿华 黄大……
嗯,是这样子的...ActiveMQ也是挺好的选择,不过webmagic目前的调用方式,无法支持MQ的push方式
顶部