网站搜索爬虫怎么迅速提高工作效率??

天天爬网 发布于 2016/06/22 15:57
阅读 346
收藏 0
网站搜索爬虫怎么迅速提高工作效率??
加载中
0
zheng_pat
zheng_pat

效率绝对不是爬虫的问题。就算单线程一个个爬去,或者调用浏览器模拟点击爬去网站也会很快。

如果你真要快的话,买代理IP,多机器爬取。控制好调度,将下载和解析分卡

0
sameLuo
sameLuo
多线程,抓取和解析分开
0
Liuxd
Liuxd

多机器分布式、单机多进程。

如果你是抓一个网站的话其实效率瓶颈可能不在你这啊,人家网站如果负载能力有限,你抓太快就崩溃了啊。

返回顶部
顶部