谁有有没有爬虫程序?

fengji 发布于 2013/04/24 16:09
阅读 241
收藏 1
要求: 通过JAVA实现基于广度优先算法的爬虫程序. 最好采用多线程技术, 通过爬虫程序,搜集某一站点或多个站点的URL,以及图片资源(bmp, jpeg)和文档资源( doc文档).
加载中
0
amonxu
amonxu
去google比这效果好。
0
逝水fox
逝水fox
  只是爬的话 wget不就好...
0
自风
自风

Spiderman Java开源爬虫 
Apache2.0协议 

0
anjero
anjero

引用来自“毛主席夸我帅”的答案

jsoup自己抓。
一直用jsoup自已抓,代码也简单。楼主可以一试
onse
onse
有没有示例呢?
0
s
sosozzzx
推荐大家使用下神箭手云爬虫,完全在云上编写和执行爬虫,不需要配置任何开发环境,快速开发快速实现。 

简单几行 javascript 就可以实现复杂的爬虫,同时提供很多功能函数:反反爬虫、 js 渲染、数据发布、图表分析、反防盗链等,这些在开发爬虫过程中经常会遇到的问题都由神箭手帮你解决。 

0
大数据专家

ForeSpider数据采集软件,你试试,多线程技术,采集网站上的图片、url地址、文本信息、网页地址、等等,全都能采到。

返回顶部
顶部