java 爬虫爬去ajax生成的分页数据页面

mark_rock 发布于 2015/12/21 11:29
阅读 2K+
收藏 0

网址:http://www.dpm.org.cn/search/shuziziliaoguan/cangpin/common/search.html

求大神帮帮忙。。

加载中
0
调皮的XD
调皮的XD
自己爬ajax接口嘛,解析json而已,一般的爬虫爬不到ajax动态生成的页面,除非你自己后台用node跑js代码
0
沃德天拉莫帅
沃德天拉莫帅

apache有个库,#HtmlUnit#,还能模拟各种浏览器

沃德天拉莫帅
沃德天拉莫帅
回复 @JavaJason : 不会啊,挺快的,浏览器对象不要每次都创建,另外爬虫不一定需要很高的性能,解析数据结果最重要
JavaJason
JavaJason
htmlunit效率不是很好。是个方案。用的时候要小心发布任务就是了
0
MockMan
MockMan
参数和返回的response感觉略奇葩
0
坏孩子
坏孩子
写个chrome插件抓取,最后通过监听端口或者调用本地程序把数据放到本地
0
数据工厂
数据工厂
http://doc.shenjianshou.cn/developmentSkills/useAJAX.html
返回顶部
顶部