Java网页爬虫 JSpider

LGPL
Java
跨平台
2009-06-18
红薯

JSpider是一个用Java实现的WebSpider,JSpider的执行格式如下:

jspider [URL] [ConfigName]

URL一定要加上协议名称,如:http://,否则会报错。如果省掉ConfigName,则采用默认配置。

JSpider 的行为是由配置文件具体配置的,比如采用什么插件,结果存储方式等等都在conf\[ConfigName]\目录下设置。JSpider默认的配置种类 很少,用途也不大。但是JSpider非常容易扩展,可以利用它开发强大的网页抓取与数据分析工具。要做到这些,需要对JSpider的原理有深入的了 解,然后根据自己的需求开发插件,撰写配置文件。

加载中

评论(2)

F
FanLinyun
分析源码好累啊 JSpider
z
zhengjb
与已收录的J-Spider(http://www.oschina.net/p/j-spider)重复 JSpider

暂无资讯

2
回答
求大神,爬虫(Java)能实现 百度快照吗?还是离线版的。。
探索人生 的回答 2016/03/10 13:56
最佳答案
正文抽取:http://www.weixinxi.wang/open/extract.html

没有更多内容

加载失败,请刷新页面

没有更多内容

83款 网络爬虫开源软件

1、http://www.oschina.net/project/tag/64/spider?lang=0&os=0&sort=view& 搜索引擎 Nutch Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文...

2014/08/07 13:40
113
0
83款 网络爬虫开源软件

1、http://www.oschina.net/project/tag/64/spider?lang=0&os=0&sort=view& 搜索引擎 Nutch Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文...

2014/08/07 13:40
90
0
83款 网络爬虫开源软件

1、http://www.oschina.net/project/tag/64/spider?lang=0&os=0&sort=view& 搜索引擎 Nutch Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文...

2014/08/07 13:40
96
0
搜索->爬虫

了解爬虫的原理、结构和分类,同时分享一些开源项目

2015/09/23 19:55
53
0
83款 网络爬虫开源软件

1、http://www.oschina.net/project/tag/64/spider?lang=0&os=0&sort=view& 搜索引擎 Nutch Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文...

2014/08/07 13:40
47
1
83款 网络爬虫开源软件

1、http://www.oschina.net/project/tag/64/spider?lang=0&os=0&sort=view& 搜索引擎 Nutch Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文...

2014/08/07 13:40
391
0
83款 网络爬虫开源软件

1、http://www.oschina.net/project/tag/64/spider?lang=0&os=0&sort=view& 搜索引擎 Nutch Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文...

2014/08/07 13:40
248
0
44款Java 网络爬虫开源软件

极简网络爬虫组件 WebFetch WebFetch 是无依赖极简网页爬取组件,能在移动设备上运行的微型爬虫。 WebFetch 要达到的目标: 没有第三方依赖jar包 减少内存使用 提高CPU利用率 加快网络爬取速...

2018/06/04 14:36
98
0
33款可用来抓数据的开源爬虫软件工具

要玩大数据,没有数据怎么玩?这里推荐一些33款开源爬虫软件给大家。 爬虫,即网络爬虫,是一种自动获取网页内容的程序。是搜索引擎的重要组成部分,因此搜索引擎优化很大程度上就是针对爬虫...

2015/11/09 21:10
319
0
用typescript开发爬虫过程实践

demo码云git地址: https://gitee.com/jamesview/jspider 用typescript开发爬虫过程实践 最近刚学typescript,想着能用来做点什么,顺便也练练手,加之最近也有个想法,前提是需要解决数据来...

01/30 18:02
20
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部