有没有人聊一下,贵公司的爬虫系统是怎么样的?百度的爬虫系统怎么组建?有没有相关的博客和资源分享一下,最近感觉很头疼》??

知行合一1 发布于 2016/06/13 09:29
阅读 495
收藏 1
有没有人聊一下,贵公司的爬虫系统是怎么样的?百度的爬虫系统怎么组建?有没有相关的博客和资源分享一下,最近感觉很头疼》??
加载中
0
fromdtor
fromdtor
有偿可以考虑,毕竟回答需要时间
0
fullerhua
fullerhua

题主是想建立一个爬虫系统?我是专门开发网络爬虫的程序员,可以关注我的空间。建立爬虫系统既可以用开源的系统,也可以用闭源商用系统。选择前者的目的是为了自己能开发一些定制化代码,选择后者的目的是为了更快地用上

百度爬虫就复杂了,有很多关于搜索引擎方面的课件,建立这么一个综合性爬虫系统,需要耗费很多资源

0
ada_young
ada_young
webcollector感觉还不错,正用着呢      http://www.oschina.net/p/webcollector 
0
搜盘君

恩,反正我用的lucene,让我自己写,我也没那个本事

0
让往事随风
让往事随风
感觉Python爬虫系统还是不错的,看看这个学习吧:http://edu.51cto.com/course/course_id-581.html
返回顶部
顶部