4
回答
Taobao分布式文件系统TFS简析

文章转自:http://blog.csdn.net/liuben/article/details/5946583

Taobao自主研发分布式文件系统TFS(Taobao File System)的消息早有耳闻,最初来自网络上的一篇报道(或称软文)-“深度揭秘淘宝自主研发的文件系统TFS”。因为个人研究兴趣和工作内容相关的缘故,对TFS产生了很大的兴趣,很是期待和关注。TFS前面一直传说大致在2010.09月进行开源发布,国庆前后未能跟进关注,节后蓦然发现TFS已经于2010.09.29在Taobao的开源平台发布了,http://code.taobao.org/project/view/366/。网络上大家都戏称,TFS对时间把握真是太到位了,Taobao言必行,在9月的最后一天兑现了自己的承诺。

正如大家所说,国内自主研发的文件系统真是可谓凤毛麟角,开源的文件系统就更是罕见,我现在所知道是就是FastDFS和TFS。从这个意义上,Taobao的开源精神是很值得称道的。FastDFS的开发者余庆和LVS的开发者章文嵩都在Taobao工作,我想这两位开源高手应该对TFS有着较大的影响,再借助Taobao的实力和平台,TFS的未来非常值得开源界和存储界期待。

TFS官方称“TFS(Taobao FileSystem)是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统,其设计目标是支持海量的非结构化数据”。我个人花了点时间研究一下TFS的源码和相关技术文档,TFS与目前一些主流的开源分布式文件系统设计思想是相似的,如HDFS, MFS, KFS, Sector。TFS的高可扩展、高可用性是很好的,然而也存在一定不足,如通用性、用户接口、性能等方面。我这里粗略罗列一些自己认为TFS的不足之处,不当之处还请大家指正。

1、通用性方面。TFS目前只支持小文件的应用,大文件应用是不支持的。对小图片、网页等几十KB内的数据存储非常适用,但对视频点播VOD、文件下载等应用暂时无法适用。

2、性能方面。Client写文件是同步处理的,需要等所有dataserver写成功后才能返回,这很是影响性能。
3、用户接口。TFS没有提供POSIX接口,提供的API也与标准接口不一致。另外,TFS有自己的文件命名规则,如果用户使用自定义的文件名,则需要自已维护文件名与TFS文件名之间的映射关系。
4、代码方面。使用了C++实现,感觉相对臃肿一点,如果用纯C实现应该会简洁不少(可能我C中毒太深了)。代码注释基本没有,代码质量也不是很好。
5、技术文档。官方有一些文档,但显然非常不够深入和全面。
6、小文件优化。官方称针对海量小文件的随机读写访问性能做了特殊优化,现在只看到把众多小文件存放与一个Block中,这与Squid中的COSS原理相似。其他特殊优化措施未知,LOFS(Lost of small files)是个难点问题。
举报
红薯
发帖于6年前 4回/3K+阅
顶部