跪求服务器宕机的解决方案

米多范er 发布于 2013/09/09 10:42
阅读 1K+
收藏 1

@黄亿华 你好,想跟你请教个问题:黄大,如果webmagic正在跑的过程中突然宕机了有什么好的解决方案吗?怎么实现服务器重启后任务自动运行?

加载中
0
黄亿华
黄亿华

建议你用RedisScheduler,然后保证这台redis机器的可用性,这样Spider宕机后可以从宕机位置开始继续爬。

如果要更加可靠,也可以用mysql这类关系数据库作为Scheduler。

0
k
kdrhrg
我不是高手,只是一个新手,我觉得服务器宕机的原因很多,软件/硬件问题,兼容性问题,安全性问题都会导致宕机。说错了别骂我,我是自己这样觉得的,不代表其他人认可哦
0
根号7
根号7

服务器宕机一般的原因是:服务器硬件资源不足、程序本身bug,占用大量的硬件资源,线程等等。如果以上两种方案处理还不能满足你的需求,请采用集群双机热备。或者采用分布式减轻服务器压力。

0
米多范er
米多范er

引用来自“黄亿华”的答案

建议你用RedisScheduler,然后保证这台redis机器的可用性,这样Spider宕机后可以从宕机位置开始继续爬。

如果要更加可靠,也可以用mysql这类关系数据库作为Scheduler。

如果用apache的activeMq,是不是需要自己重写一个scheduler?唉,书到用时方恨少啊。
0
米多范er
米多范er

引用来自“ywooer”的答案

引用来自“黄亿华”的答案

建议你用RedisScheduler,然后保证这台redis机器的可用性,这样Spider宕机后可以从宕机位置开始继续爬。

如果要更加可靠,也可以用mysql这类关系数据库作为Scheduler。

如果用apache的activeMq,是不是需要自己重写一个scheduler?唉,书到用时方恨少啊。
@黄亿华 黄大……
0
黄亿华
黄亿华

引用来自“ywooer”的答案

引用来自“ywooer”的答案

引用来自“黄亿华”的答案

建议你用RedisScheduler,然后保证这台redis机器的可用性,这样Spider宕机后可以从宕机位置开始继续爬。

如果要更加可靠,也可以用mysql这类关系数据库作为Scheduler。

如果用apache的activeMq,是不是需要自己重写一个scheduler?唉,书到用时方恨少啊。
@黄亿华 黄大……
嗯,是这样子的...ActiveMQ也是挺好的选择,不过webmagic目前的调用方式,无法支持MQ的push方式
返回顶部
顶部