谁能指导下分布式文件系统的选型,存储小文件用的,图片、word、pdf之类的文档

从前 发布于 2013/01/25 11:00
阅读 6K+
收藏 7

谁能指导下分布式文件系统的选型,存储小文件用的,图片、word、pdf之类的文档。总体规模在 千万级个文件。

公司后端用的 java 架构的基于 centos系统, 目前针对文件存储的方式是,单独列出文件目录,用于存储文件,前端用nginx做反向代理直接访问。

这样以后可以将文件单独迁移到文件服务器上,采用NFS挂载到web server上或者直接nginx访问。但是文件越来越多,都是图片、word、pdf 之类的文档,都不大,pdf最大不超过10M。

能不能指导下怎么选个分布式文件系统,从成熟度,易于和java整合(接口java易于使用),针对小文件的,高并发读,。看过很多开源的分布式文件系统,hdfs、tfs、fastDFS。但各有各的优势,由于没得使用经验下不了决定。因为一旦采用了,如果不合适,还得重新来部署。

下面是我对这些文件系统的一点认识,不知道正不正确:

hdfs:重量级,大文件的。pass

tfs:感觉针对淘宝这种业务场景的,c++,据说接口不太好用。暂考虑

fastdfs: 比较活跃,应该比较成熟了,第三方网站用得多。暂考虑

MogileFS :perl 的,还得基于mysql,不熟悉。不需要raid,不知道其他的文件系统是不是需要raid。

加载中
0
红薯
红薯
好像 FastDFS 比较活跃,而且作者 @余庆 也在 OSC ,有问题可请教
红薯
红薯
回复 @从前 : 是的,我们这方面的东西比较少
从前
从前
osc 暂时没有用到文件系统吧,我看osc的分享下载版块数据不大
从前
从前
谢谢,我还在整理一些我所了解的文件系统。这么快就有回复了
0
可观
可观
可以参考一下淘宝的TFS,专门为这种情景开发的
0
十一文
十一文
建议fastdfs
0
jiangyuan
jiangyuan
FastDFS 简单好用健壮,绝对首选!
从前
从前
详细了解了下,fastdfs目前还比较适合现在的需求。
0
idreamblue
idreamblue
moosefs 也可以,感觉用起来比较简单,支持fuse,而且文件名可以自己定制。
0
LiangShao
LiangShao
必须试着用fastdfs
0
L
Luxury
之前用过tfs,正在尝试fastdfs.谢谢
返回顶部
顶部