@TargetUrl 和 @HelpUrl 的区别 在webmagic

搜索小虫 发布于 2013/08/16 14:39
阅读 1K+
收藏 0

@黄亿华 你好,想跟你请教个问题:@TargetUrl 和 @HelpUrl 的区别 在webmagic?

加载中
0
黄亿华
黄亿华

TargetUrl是要抓取的URL,最终会从这个页面里抽取内容。

HelpUrl页面也会被抓取,但是不会抽取具体内容。

例如抓取博客,TargetUrl肯定是文章页面;而列表页有很多有用的链接,但是这个页面本身没有我们想要抽取的内容,这个Url就是HelpUrl。

返回顶部
顶部