webmagic 抓取数据在时候遇到非法访问

yangjunheng 发布于 2016/04/13 16:35
阅读 505
收藏 0

云原生2.0展望丨从“小众”到“首选”,推动云原生产业落地华为云作用几何?>>>

最近开始尝试做个爬虫,挑了挑,后来选了 webmagic ,从一个网站上也抓下来数据了感觉蛮好。可是换了个网站发现这网站的数据在页面是没有的,都是通过ajax请求得到的,更悲剧的是人家还做了拦截器,不能直接模拟浏览器访问ajax那些取数据的链接地址。这可怎么办?急求解决方案。。。
加载中
0
自由de风
自由de风

爬虫ajax的页面参考文档http://webmagic.io/docs/zh/posts/chx-cases/js-render-page.html   

如果人家做了拦截那就无解了 ,除非知道别人拦截的规则是什么,有没有办法绕过

0
自由de风
自由de风
这个没有什么办法吧  人家就是不想让你爬
yangjunheng
yangjunheng
无解了?那就是说?
返回顶部
顶部