Hadoop存储安全

抢小孩糖吃 发布于 2011/10/18 09:16
阅读 1K+
收藏 1
请问大家,Hadoop的数据存储方面有容错性质么?之前接触的Eucalyptus中的S3存储是非安全的,想找寻一个相对安全容错性高的存储,谢谢大家(我所谓理解的容错,某硬盘挂掉)
加载中
0
逝水fox
逝水fox

HDFS每个文件块默认是3份拷贝。保存在3个不同的datanode上。如果一个出错的话,会用其他的拷贝进行恢复。可以在配置文件或者用FS命令修改文件的拷贝数。

不过namenode的容错性就需要自己做了。

0
抢小孩糖吃
抢小孩糖吃
哦,如果我的namenode部署到三台计算机,也就是说备份会出现3份 谢谢啦 S3是简单共享 安全几乎没有╮(╯_╰)╭
逝水fox
逝水fox
你可以看看这个的第三章前两节,对HDFS的结构有简单的描述 http://wenku.baidu.com/view/d7d57dc24028915f804dc2f5.html
逝水fox
逝水fox
不是这个意思了 一般是一个namenode和多个datanode 数据本身是保存在datanode中的,同个文件块可以有多个备份在不同的datanode上,备份和恢复过程一般是后台自动完成的。 但是namenode只有一个,挂了的话,整个系统就废了。这个,网上有解决方案,需要自己做备份。
0
抢小孩糖吃
抢小孩糖吃
谢谢~\(≧▽≦)/~啦啦啦
0
抢小孩糖吃
抢小孩糖吃
恩,也就是说namenode需要做硬件的raid5或者更高级的存储保证吧,再次感谢
返回顶部
顶部