网页爬虫 java

一曲相思 发布于 2015/05/11 16:18
阅读 609
收藏 0
想用java抓取一些电商的产品信息,用jsoup抓取了,抓取不到,大家有什么好的推荐没
加载中
0
张恒强
张恒强
你想解析得先爬下来啊,很多网站都是有 监控的、有限制,比如淘宝,你想爬都爬不下来。
0
中华雪碧
中华雪碧
抓不到的原因是什么?不同的情况,会不同的方法。可以放个网址,让大家研究研究。。。。
中华雪碧
中华雪碧
回复 @wlg910525 : 试下htmlunit,我用过,对于动态加载,部分网站是可以抓取的。
一曲相思
很多电商网站的产品页面都是动态加载的 jsoup抓取不到 像淘宝
0
xtuhcy
xtuhcy
http://my.oschina.net/u/2336761/blog
0
s
sosozzzx

试试这个神箭手云爬虫平台的淘宝商品信息及评价采集爬虫(按商品搜索关键字)支持云端自动采集,试试监控更新~

爬虫链接:http://www.shenjianshou.cn/index.php?r=market/configDetail&pid=119

返回顶部
顶部