3
回答
能不能把hadoop改为没有primary namenode的hadoop?
利用AWS快速构建适用于生产的无服务器应用程序,免费试用12个月>>>   

能不能把hadoop改为没有primary namenode的hadoop?

就是把每个节点就变为namenode节点,所有服务器都一样,不区分。连接服务器时间选择延时最少的服务器。


举报
ihuotui
发帖于4年前 3回/135阅

以下是问题补充:

  • @ihuotui :近期看intel hadoop的资料 (4年前)
共有3个答案 最后回答: 4年前
hadoop yarn?
--- 共有 6 条评论 ---
newlife867回复 @ihuotui : 你想清楚到底要讨论什么了吗?hadoop HDFS 还是hadoop MapRed。 这两个有联系但本质上是完全不同的东西。 4年前 回复
ihuotui回复 @newlife867 : 集群运行需要联网,网络通信情况下才能工作,假如网络不同,任何分布式都不能有一致性。我想的是既然网络一直导通,像p2p那样来连接各个节点。 4年前 回复
newlife867回复 @ihuotui : 会踢到CAP定理的石头。然后怎么办?总要有折衷的。 4年前 回复
ihuotui回复 @newlife867 : 其实是想假如所有服务器上的架构都一样,像p2p技术一样,不用分主节点,这样子不怕主节点失效,又能自由扩展。 4年前 回复
newlife867回复 @ihuotui : 没看清,以为你说的是MapRed的job-tracker hdfs好像没办法。 4年前 回复

引用来自“newlife867”的答案

hadoop yarn?
回复 @ihuotui : 兄弟,你这么说怕是没理解Dog Cutting作者的意图了,hadoop本身就是为了解决分布式问题而提出的新解决方案,与p2p是一种平等的关系,你所说的把集群中的每个节点都设置为namenode结点,我认为会出现以下问题:
1.namenode之间经常需要同步,这个开销不小吧
2.namenode状态不一直时,读写时也会有问题
3.p2p对服务器性能有一定要求吧,而hadoop集群一般都是运行在廉价的机器上,成本高了吧

hadoop2.0有 namenode Federation,好像可以符合你的需求,具体我还没仔细研究。hadoop 2 还是beta版,要用的话,建议再观望一段时间。

顶部