问一个 实时获取别人网站数据的思路

kacc850 发布于 2014/07/25 16:56
阅读 2K+
收藏 0

一般我们知道,获取别人网站的数据 一共有3种方式


一:小偷程序 我们直接去抓取,然后正则匹配对方网站HTML标签里的数据 如果遇到登陆的也可以用CURL


二:对方提供API ,我们获取  json  xml格式     GET POST  HTTP(WEBSERVICES)


三:直接人工COPY。。。


----------------------------------------------------------------------------------

我们知道显示的话,可以包括2种

一:实时读取过来,当别人运行我们的网站 就请求别人网站的数据一次 我们不保存


二:先抓取过来,入我们的数据库,然后读取出来 ,从我们的数据库里


那么我请问,一般大家都是采用哪种方式采集的呢?

                一般大家如果保存入库,是不是要每秒都请求对方数据呢?


00000000000000000000000000000000000000000000000000000000000000000000000000000000

说明正题:

http://www.ceic.ac.cn/  中国地震台网

我想做一个网站,其中首页一部分留给一个DIV框,做一个实时的全球各地地震的数据


前期可以不保存,后期肯定要保存入库的,但保存入库又怕实时性不高,总不能每秒都查询对方吧


如果对方不提供api咋办。   求方法

加载中
0
IdleMan
IdleMan
可以用iframe么
kacc850
kacc850
哥,那不上档次啊。。。
0
Tuesday
Tuesday

现在的人总是想太多, 在网站上放个按妞, 让用户刷新, 然后你工作.

Tuesday
Tuesday
回复 @kacc850 : 只能说想多了, 就好像在说医生救死扶伤一样
kacc850
kacc850
要的是用户体验度啊。。。
0
one_Pis
one_Pis
把你的实施获取数据那部分做ajax轮询
kacc850
kacc850
而且AJAX貌似有延迟吧,万一打开首页让用户等待就不好了吧
kacc850
kacc850
但这样的话 不是很占用机器性能吗?
0
kacc850
kacc850
求思路。。。。。。。。。。
0
kacc850
kacc850

继续顶!


还有天气预报等API,大家是实时获取还是先让服务器去抓取存入数据库,上我们网站的用户访问我们的硬盘来获取数据。

返回顶部
顶部