WebMagic首页、文档和下载 - 垂直爬虫

网络爬虫

授权协议: Apache

开发语言: Java 查看源码»

操作系统: 跨平台

收录时间: 2013-06-13

提交者: 黄亿华

webmagic的是一个无须配置、便于二次开发的爬虫框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。

以下是爬取oschina博客的一段代码：

Spider.create(new SimplePageProcessor("http://my.oschina.net/",
"http://my.oschina.net/*/blog/*")).thread(5).run();

webmagic采用完全模块化的设计，功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化)，支持多线程抓取，分布式抓取，并支持自动重试、自定义UA/cookie等功能。

webmagic包含强大的页面抽取功能，开发者可以便捷的使用css selector、xpath和正则表达式进行链接和内容的提取，支持多个选择器链式调用。例如：

String extractResult = Html.create(html).$("div.body")
.xpath("//a/@href").regex(".*blog.*").toString();

webmagic也可以很方便的作为一个模块，嵌入Java项目中运行。webmagic的使用可以参考：oschina openapi 应用：博客搬家

webmagic的使用文档：http://webmagic.io/docs/

webmagic的设计文档：webmagic的设计机制及原理-如何开发一个Java爬虫

加载中

此

此岸非左岸

2017/09/28 16:24

SeleniumDownloader如何设置网络代理

独

独孤晓林

2017/09/06 10:49

官网挂了？？？？

osc4windy

2017/09/04 17:18

log4j:WARN No appenders could be found for logger (us.codecraft.webmagic.scheduler.QueueScheduler). log4j:WARN Please initialize the log4j system properly. log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info. 如何解决

qwfys

2017/07/25 15:14

不错。

小黑小别姬

2017/05/30 01:03

突然想起来8次相亲的故事

数据抓取

2017/05/14 16:20

寻找一个小团队做新闻客户端数据抓取，感兴趣可微信联系zx_wander

1308706231

2017/05/10 11:43

网站cookie每次请求修改一次如何解决

jcbms2017

2017/03/23 19:17

黄师傅，我觉得这个爬虫的添加cookie用起来不太方便啊，平常的cookie都是从浏览器copy或者模拟登录时获取到的一个长字符串，在webmaigic里面我们要拆开成键值对才能添加进去，黄师傅不如再封装个直接添加字符串cookie的方法啊,为什么要让Spier类实现runnable接口啊？

neverused

2017/02/27 10:40

我大概看了一下QueuedScheduler，发现逻辑是如果不重或shouldReserve就放进一个LinkedQueue。如果多个线程同时放一个url，同时发现不重。将会放入一个url同时放入多次。这个是不是一个bug，我是渣渣，也不是很确定有没有这个问题。

戴帽子的狗

2016/08/04 23:18

我瞎以为这里是搜索框...怎么删啊.. #WebMagic#

1 2 3 4 5 6 7 8 9 >

WebMagic是一个简单灵活的Java爬虫框架。基于WebMagic，你可以快速开发出一个高效、易维护的爬虫。本次更新增加了Downloader模块的一些功能。 #609 修复HttpRequestBody没有默认构造函数导致...

开源中国 App —— 关注技术领域的头条文章

垂直爬虫 WebMagic 国

评论(82)

软件作者

同类软件

开源中国社区

在线工具

微信公众号

开源中国 APP

开源中国 App ——
关注技术领域的头条文章

垂直爬虫 WebMagic
国