python爬取<网易云课堂>,post请求失败问题

李复唐2 发布于 2018/03/02 16:58
阅读 813
收藏 0

我打算在网易云课堂中http://study.163.com/,搜寻python,打算爬取所有课程名称、作者、评分、观看人数、收费信息。统计出,什么样的课程,最受欢迎?但requests.get(url)第一步就失败了。

解析后发现,所有内容在http://study.163.com/p/search/studycourse.json中

但是在头部中没有发现,Form Data 内容

直接请求这个网址http://study.163.com/p/search/studycourse.json,得到的内容也是乱七八糟,没有需要的内容。

http://study.163.com/

http://study.163.com/courses-search?keyword=python

http://study.163.com/p/search/studycourse.json

请各位老铁,给点建议

加载中
0
王囧
王囧

把request header加上,或者一个一个试下,哪些header是必须的 哪些可以不加

0
夕阳视界
夕阳视界

这几个头加上去试试

返回顶部
顶部