图片等小文件服务的选择

人头马没面 发布于 2013/09/18 08:08
阅读 4K+
收藏 3

NGINX Sprint China 2022--NGINX年度旗舰盛会,已开启免费预约!>>>

@红薯 你好,想跟你请教个问题:现在我们的网站需要分布式文件存储,主要用来存储大量图片、小文件等,选择什么存储服务比较好?FastDFS、TFS,你们用的是什么服务,业界主流一般用什么服务?(自己百度、google了,没找到答案),求教,十分感谢!

加载中
0
人头马没面
人头马没面
该评论暂时无法显示,详情咨询 QQ 群:点此入群
0
红薯
红薯
我们还没用这类产品
0
Hansoul
Hansoul
文件数量多大?每天的增长量多大?
人头马没面
人头马没面
@北京翰索 @月影又无痕 文件主要是图片 大小500K左右 每秒200张左右增长量 使用分布式存储不是为了装屁 是为了实现服务的高可用性,在线、线性扩容等 请各位大牛指点一二
0
月影又无痕
月影又无痕
该评论暂时无法显示,详情咨询 QQ 群:点此入群
人头马没面
人头马没面
@北京翰索 @月影又无痕 文件主要是图片 大小500K左右 每秒200张左右增长量 使用分布式存储不是为了装屁 是为了实现服务的高可用性,在线、线性扩容等 请各位大牛指点一二
0
人头马没面
人头马没面

引用来自“红薯”的答案

我们还没用这类产品
哦 这样子
0
星爷
星爷

淘宝不是有开源的么,符合你的要求,专门处理淘宝网的图片


人头马没面
人头马没面
嗯 但是感觉太小众 淘宝开源之前 业界都是咋搞的呢
0
voov
voov
又拍云
人头马没面
人头马没面
我们属于内网应用 而且这些图片涉及个人隐私 不能放到互联网上
0
月影又无痕
月影又无痕

每秒200张? 平均每秒200次PV的网站也就那么些?

实际情况下,平均每天有多少张图片?1000万以上吗?还是内部的应用

facebook峰值,也不过50万张。

人头马没面
人头马没面
大哥 你怎么老是怀疑我数据量的大小呢 我们是交通类内网应用 图片基本来自城市道路上过车抓拍图片 比如路口抓拍过车 闯红灯 卡口过车图片等 1秒200张上传 高峰时期可能更多 一点也不夸张 咱不纠结这个了好不好 有没有啥解决方案 求指教
0
李学明
李学明

mogilefs, mogodb都可以,目前使用mogilefs存储了10T左右的图片

人头马没面
人头马没面
回复 @奋奋 : 嗯 HDFS显然不合适 再研究研究
奋奋
回复 @人头马没面 : fastdfs还可以吧,我们现在就用的这个。没有什么小众大众的,适合自己的就是好的。最初是准备上hdfs的,可是,种种考虑,容灾、运维、资金等,最后选择了fastdfs。就是一个存储,简单明了,后期还好扩展。
人头马没面
人头马没面
回复 @李学明 : 嗯 十分感谢 我前期用了fastdfs 感觉还好 不过只是开发环境使用 正式环境没上 也有一些缺点 小众、图片重命名等 那我们这种选择什么比较好点?不知道业界主流(sina weibo、twitter)是怎么做的?
李学明
李学明
该评论暂时无法显示,详情咨询 QQ 群:点此入群
人头马没面
人头马没面
有没有用过别的存储服务?有没有对比啥的?性能,高可用性等如何,求指教
0
月影又无痕
月影又无痕

推荐淘宝TFS,专门用于海量小图片存储:

高可用(每个图片默认保存三份)

无缝扩容(可随时增加机器不影响旧的文件存储)

低成本(普通PC server即可,不必要使用磁盘阵列)


人头马没面
人头马没面
嗯 研究研究 十分感谢
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部