webmagic 使用

IT小马哥 发布于 2013/10/09 17:24
阅读 659
收藏 0

@黄亿华 你好,想跟你请教个问题:

我用webmagic 下载 http://cctv.cntv.cn/lm/xinwenlianbo/20130201.shtml

page.putField("title", page.getHtml().xpath("//div[@id='title_01']"));

最后title的内容为空,我看了下载下来的网页,发现div[@id='title_01']这个标签里面的内容就是空的,不知道为什么?


加载中
1
黄亿华
黄亿华
这个不是webmagic的问题,是 div[@id='title_01']内的内容是js动态渲染的,我建议你直接使用正则抽取后面的js数据。
0
IT小马哥
IT小马哥
嗯,我看后面确实有js代码,里面的确有我要的数据,看来只能用正则抽取了,非常感谢
返回顶部
顶部