Python爬虫—破解JS加密的Cookie
前言 在GitHub上维护了一个代理池的项目，代理来源是抓取一些免费的代理发布网站。上午有个小哥告诉我说有个代理抓取接口不能用了，返回状态521。抱着帮人解决问题的心态去跑了一遍代码。发现果真是这样。 通过Fiddler抓包比较，基本可以确定是JavaScript生成加密Cookie导致原来的请求返回521。 发现问题 打...
作者: j_hao104
{{emojiItem.symbol}}
删除一条评论
评论删除后，数据将无法恢复
公众号
视频号
深圳市奥思网络科技有限公司版权所有
粤ICP备12009483号
引用来自“Henson”的评论
其实呢，前端页面无论加密如何复杂，最终都要还原成浏览器可以解析的html代码，而documentElement.outerHTML正是最终的结果，所以用V8引擎简单跑下javascript:s=document.documentElement.outerHTML;document.write('<body></body>');document.body.innerText=s; 页面源码就出来了，供参考。引用来自“j_hao104”的评论
加密内容是可以这样。但是打乱JS代码而且还是document.cookie,这是是拿不到cookie的。要修改JS才行😄引用来自“Henson”的评论
爬http://www.kuaidaili.com/proxylist/*其实是不需要带cookie的😄引用来自“j_hao104”的评论
你确定？前两天开始就有用Cookie验证了 word哥引用来自“Henson”的评论
我用Go写的，python其实也一样，当然你已经写了，我没必要再去写一个，对吧。文末有鸣谢哦😄引用来自“Henson”的评论
其实呢，前端页面无论加密如何复杂，最终都要还原成浏览器可以解析的html代码，而documentElement.outerHTML正是最终的结果，所以用V8引擎简单跑下javascript:s=document.documentElement.outerHTML;document.write('<body></body>');document.body.innerText=s; 页面源码就出来了，供参考。引用来自“j_hao104”的评论
加密内容是可以这样。但是打乱JS代码而且还是document.cookie,这是是拿不到cookie的。要修改JS才行😄引用来自“Henson”的评论
爬http://www.kuaidaili.com/proxylist/*其实是不需要带cookie的😄引用来自“j_hao104”的评论
你确定？前两天开始就有用Cookie验证了 word哥引用来自“Henson”的评论
其实呢，前端页面无论加密如何复杂，最终都要还原成浏览器可以解析的html代码，而documentElement.outerHTML正是最终的结果，所以用V8引擎简单跑下javascript:s=document.documentElement.outerHTML;document.write('<body></body>');document.body.innerText=s; 页面源码就出来了，供参考。引用来自“j_hao104”的评论
加密内容是可以这样。但是打乱JS代码而且还是document.cookie,这是是拿不到cookie的。要修改JS才行😄引用来自“Henson”的评论
爬http://www.kuaidaili.com/proxylist/*其实是不需要带cookie的😄引用来自“j_hao104”的评论
你确定？前两天开始就有用Cookie验证了 word哥引用来自“Henson”的评论
其实呢，前端页面无论加密如何复杂，最终都要还原成浏览器可以解析的html代码，而documentElement.outerHTML正是最终的结果，所以用V8引擎简单跑下javascript:s=document.documentElement.outerHTML;document.write('<body></body>');document.body.innerText=s; 页面源码就出来了，供参考。引用来自“j_hao104”的评论
加密内容是可以这样。但是打乱JS代码而且还是document.cookie,这是是拿不到cookie的。要修改JS才行😄引用来自“Henson”的评论
爬http://www.kuaidaili.com/proxylist/*其实是不需要带cookie的😄引用来自“Henson”的评论
其实呢，前端页面无论加密如何复杂，最终都要还原成浏览器可以解析的html代码，而documentElement.outerHTML正是最终的结果，所以用V8引擎简单跑下javascript:s=document.documentElement.outerHTML;document.write('<body></body>');document.body.innerText=s; 页面源码就出来了，供参考。引用来自“j_hao104”的评论
加密内容是可以这样。但是打乱JS代码而且还是document.cookie,这是是拿不到cookie的。要修改JS才行😄引用来自“Henson”的评论
其实呢，前端页面无论加密如何复杂，最终都要还原成浏览器可以解析的html代码，而documentElement.outerHTML正是最终的结果，所以用V8引擎简单跑下javascript:s=document.documentElement.outerHTML;document.write('<body></body>');document.body.innerText=s; 页面源码就出来了，供参考。引用来自“wei2011”的评论
selenium+phantomjs也可以引用来自“不日小鸡”的评论
大家都去抓免费代理，都成万人骑了