OSChina 第14期高手问答 主题:云存储

老枪 发布于 2012/04/08 12:44
阅读 9K+
收藏 25

存储技术是云计算的关键,而云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念,是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。

本期高手问答,荣幸请到了 又拍云存储 的 沈志华(@ahua321 )来做客。欢迎大家就云存储(包括又拍云存储产品)的相关问题进行提问!

沈志华又拍云存储 的CTO,在云计算、存储技术等方面具备非常丰富的经验。

OSChina 高手问答一贯的风格,不欢迎任何与主题无关的讨论和喷子。

下面开始回帖提问吧:)

加载中
2
Sephiroth
Sephiroth

刚到家,立刻提问喽

1.关于云存储,其重点是在存储技术,还是在提供业务访问的应用软件?

2.能不能简单分享一些云存储的系统设计方案?

ahua321
ahua321
对于云存储,最主要的就是稳定、速度、简单。在业务层面主要就是做好接口api 及 资源的web访问与分发。 目前又拍的云存储的整个系统架构可以参考这个图: http://www.infoq.com/cn/articles/szh-cloud-storage-services
0
蟋蟀哥哥
蟋蟀哥哥
@ahua321 能说下你们的云用到的开源技术么?
cloudsben
cloudsben
我们公司这些也都在用
蟋蟀哥哥
蟋蟀哥哥
@ahua321 : 为什么不用varnish用squid?
ahua321
ahua321
又拍云存储目前用到的开源软件,主要开发语言有: C、PHP、Erlang、Python,用的比较多的开源产品有: Nginx GraphicsMagick MySQL Memcached Hadoop Redis Squid Heartbeat IPVS BIND
0
jeffsui
jeffsui

恩,感谢大牛百忙之中来@oschina 做客。

那我就大言不惭提第一个问题

云存储能够为开发者带来什么?为企业带来什么?

楼下继续!

butong
butong
我个人认为云存储可以方便很多个人开发者以及那些非正规的创业小团队。对于服务提供商来说,有用户、服务体现出价值就足够说明一切了。
皮总
皮总
回复 @ahua321 : 我想问一下你们的复制三份是通过什么实现的,Hadoop 么?
ahua321
ahua321
又拍云存储为用户做的都是非常基础性的工作,主要是海量文件存储、存储文件在全国各地的高速访问(CDN)、图片的各种版本调用(缩略图),这些工作都是最基础的技术开发工作,每家互联网公司的开发人员都在重复不停的投入研发精力,及大量的服务器硬件铺设,通过又拍云存储,我们可以将这些技术研发和大量的服务器投入共享给所有互联网网站,让其他公司不需要重复不停的制造同一个轮子。
蟋蟀哥哥
蟋蟀哥哥
你是第二个。。我觉云存储能给企业节省初期成本.
0
老汉-憨憨
老汉-憨憨
云端的数据安全吗?  传输过程安全吗?  怎么做的备份。
butong
butong
safe和security是两种安全。我相信云存储的safe,但对于security持保留意见,哈哈。
o
octopus
回复 @ahua321 : 你好!不知道你有没有用过riak,它就是一份数据三个备份,可是在这三个备份之间同步数据时,会出现数据不一致,或是数据丢失,请问你们是怎么解决这个问题的。
ahua321
ahua321
二、文件保存后是否会丢失。 每一个文件,在又拍云存储中都是唯一的一个key,每个key会有3份拷贝,并且保证3个key拷贝分布在不同的物理服务器上,一旦某台服务器物理故障,key拷贝会自动寻找其他服务器作为宿主,时刻保持自身的3份拷贝。
ahua321
ahua321
云端数据安全分两种: 一、文件是否会被窃取或篡改。 在上传的时候,又拍云存储支持https加密传输,及Content-MD5的支持,防止用户上传的文件被拦截或篡改。在文件get的层面,我们做了非常全面的防盗链功能,除了常用的域名\IP\user-agent防盗链外,还支持token防盗链。
0
阿酷
阿酷
云存储能否抽象成一个文件系统?例如提供一个 Java 类库,应用可以通过这个类库来存取数据,就像是用 java.io.File 类库一样。
阿酷
阿酷
@ahua321 那又拍云 现在是主要重来存储图片,解决 CDN 和带宽的问题是吗?
ahua321
ahua321
因为系统的目的性不同,所以在云存储上抽象成一个文件系统,效率不会很高。
0
王振威
王振威
云存储如何解决网络带宽问题,另外想问一下你们的云使用的缓存架构设计。
老叮当猫
老叮当猫
回复 @ahua321 : 你好,又拍云存储对于海量小文件和大文件的处理有所不同么?性能如何?是否有针对不同文件类型的文件消冗?
ahua321
ahua321
缓存架构方面,我们每个缓存节点机房服务器集群都需要实现负载的均衡,采用服务器HA互备,lvs进行4层负载,7层nginx进行一致性hash,确保缓存命中率,及冷热文件调度(内存/ssd硬盘/sata硬盘3层调度),一旦有服务器出现硬件故障,前端调度会自动识别并剥离出集群,确保不影响用户每一次的实际访问
ahua321
ahua321
又拍云存储其实是amazon s3+cloudfront 的结合服务,所有的网络带宽都是分担在全国各地的缓存机房中,将CDN和云存储结合成同一套系统。
0
沉默8090
沉默8090
云存储是怎样实现的??
0
William
William

我想请教为什么国内云存储不怎么开webdav访问? 

我在IPAD上用的软件很多都有这个方式, 但想用的国内云存储都无这个接口

0
空_明
空_明

云储存的安全性是如何定义的  我听说云储存不是太安全能解释一下吗?

0
麦田小圈圈
麦田小圈圈
@ahua321 请问,又拍云的存储方面,对文件系统是否有相关的深入,还是借助现有的文件系统来做的存储?
返回顶部
顶部