webmagic如何处理指定网页的所有评论页

Nicll 发布于 2018/01/17 15:35
阅读 298
收藏 0

当获取的网页内容含有评论时,获取的第二页评论里,又有三个跳转页,这种怎么处理比较好,每跳转一次,链接地址就在当前地址上叠加了,要怎么才能固定成直接的页面地址?

加载中
0
弗洛德
弗洛德

直接在第一页就用 links() 获取完所有翻页的页面地址,后面的翻页后不再追加页面获取的连接可否解决?

Nicll
Nicll
昨天不可以,今天再试就可以翻页了。。。
Nicll
Nicll
翻页之后的链接还是有?传参的形式,获取到网页但是点页码翻不了页,关联不上
返回顶部
顶部