webmagic java爬虫使用selenium模拟浏览器登录打开页面,传值到page在process赋值到文件在循环里失效

Nicll 发布于 2018/02/05 14:53
阅读 505
收藏 2

直接输出内容,可以全部输出,放入page.putField里只能获取到最后一个。

page里放了所有需要的内容。在process里用数组分开了。

加载中
0
找个安静的地方

里面是个hashmap啊。所以替换了不是很正常么?

Nicll
Nicll
回复 @找个安静的地方 : 嗯,我就是想同步存储到文件和数据库里面的。谢谢~
找个安静的地方
回复 @Nicll : 很简单啊。用你for循环里面的i。他这个里面设计的就是一个page里面存储一个详情。按照你这个逻辑,你自定义一个ArrayList<HashMap<>>,所有的数据全都放进去。然后再用page.putField。不过我觉得吧,如果不涉及到后续运算,不要用他这个,直接写文件或者存数据库比较方便
Nicll
Nicll
那我想把一个网页里的内容分成多个文件进行存储,要怎么处理了
返回顶部
顶部