如何爬取 某些网页,返回一些奇怪的东西?

Metro2033 发布于 2015/07/17 17:18
阅读 514
收藏 0

连接都是我使用fidder 抓包手机App得到的,可是我明明看到的是 刷新出的是页面,可是连接 却返回这么个东西,没有jison什么的

这是个什么玩意,怎么搞?

1.

http://data.howbuy.com/hws/news/listbytype.protobuf?newestVer=0&pageCount=25&currentPage=1&basicType=&newsType=129013&channelId=102401532&token=7504457408dabb842645746b07a906a8&coopId=A20131205&actionId=HD0001&parPhoneModel=android&subPhoneModel=MI+3&iVer=4.2.2&deviceId=7FED7E7CDEB099D78294E284A0225245&corpId=000004&productId=28294488&version=4.2.2

可以 看到连接的路径 说的都是 新闻的列表 ,可是 返回个 文件。。。


2.

http://quotes.66zhang.com:8888/query?q=inst&s=sha-600313&t=all&f=pb&uid=8163617&channel=xiaomi&app_version=30.16&d_model=MI%203&d_version=4.4.4

这个好歹有数值,虽然不知道乱码 是怎么回事?


3.http://apiv2.66zhang.com/content/hold?stock=sha-600313&offset=0&view_cnt=20&uid=8163617&channel=xiaomi&app_version=30.16&d_model=MI%203&d_version=4.4.4

刷新页面 看到的是 用户操作列表,可以实际 返回确实 一串 什么码,这个怎么抓?


第1个 是个app,叫掌上基金

第2.3个是个app,叫 股票雷达

加载中
0
杨少_winston
杨少_winston
返回文件,可能请求表头返回格式有关,乱码,可能是有表头信息编码有关,
1
yongzhong
yongzhong

请求头里面可能也会有特殊参数,光看url没用

1
拓星126
拓星126

首先是请求地址是否要登录信息,是否需要父级地址作参数,url请求编码


1
xper
xper
伪装头,伪装cookie,检测是否有中间页
0
数据工厂
数据工厂
用javascript也可以写爬虫 在云端编写和执行 源码地址:https://github.com/ShenJianShou/crawler_samples
返回顶部
顶部