淘宝店铺宝贝抓取分页请求遇到 RGV587_ERROR::SM

蜡笔小新_ 发布于 2020/03/05 17:50
阅读 4K+
收藏 0

开源之夏第三届火热来袭,高校学生参与赢万元奖金!>>>

分页抓取淘宝店铺全部宝贝,httpclient请求链接:

https://h5api.m.taobao.com/h5/mtop.taobao.wsearch.appsearch/1.0/?jsv=2.5.1&appKey=12574478&t=1583396647434&sign=7c6abfcf8351e66c169b1c307d67a2fa&api=mtop.taobao.wsearch.appSearch&v=1.0&H5Request=true&AntiCreep=true&type=jsonp&timeout=3000&dataType=jsonp&callback=mtopjsonp1&data=%7B%22m%22%3A%22shopitemsearch%22%2C%22vm%22%3A%22nw%22%2C%22sversion%22%3A%224.6%22%2C%22shopId%22%3A%2235811053%22%2C%22sellerId%22%3A%2298027113%22%2C%22style%22%3A%22wf%22%2C%22page%22%3A%221%22%2C%22sort%22%3A%22_coefp%22%2C%22catmap%22%3A%22%22%2C%22wirelessShopCategoryList%22%3A%22%22%7D

其中sign算法没问题(网上百度一大堆),data参数中有page=1,page=1的时候没有问题数据可以正常返回,但是page改成大于1后,response返回信息RGV587_ERROR::SM,不知道有同仁遇到的吗请赐教。

不是请求频繁的问题应该,page=1的话死循环请求都返回正常数据,就是一改page就不行。

 

加载中
0
ken6666
ken6666

我也遇到同样的问题,估计是要进行模拟登录

ken6666
ken6666
回复 @蜡笔小新_ : 还有就是爬取淘宝app端,限制应该小一点.但是逆向过程比较难受.
ken6666
ken6666
回复 @蜡笔小新_ : 淘宝一定要模拟登陆.否则只能拿到page=1的数据.
蜡笔小新_
蜡笔小新_
你后续怎么做的?模拟登陆吗? 我的目标源是各大电商,模拟登陆可能会面对一些图形验证很麻烦
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部