一个 Hadoop 老兵的自白 - 开源中国社区
一个 Hadoop 老兵的自白
oschina 2015年11月28日

一个 Hadoop 老兵的自白

oschina oschina 发布于2015年11月28日 收藏 66 评论 28

阿里云高性能云服务器,2折起! >>> >>>  

Apache Hadoop 是一个免费软件,但实际上,除非是拥有庞大工程师团队的大公司,否则最好不要去创建仅供内部使用的Hadoop版本,因为如果要购买技术支持,那 Hadoop 就不是免费的了。Jim ScottMapR 企业战略&架构部门的负责人。2009年,他接触了自己的第一个 Hadoop 版本 Cloudera。他发现,Apache Hadoop 平台存在一些固有的设计缺陷。近日,他从以下几个方面分析了这些缺陷,并介绍了 MapR 的解决方案

Append-only文件访问方式

HDFS 的 Append-only 文件访问方式是一个巨大的障碍,导致下游项目不得不解决这个问题。例如,HBase 就实现了“墓碑化(Tombstoning)”和“合并(Compactions)”功能。但是,如果这些动作发生在负载高峰期,会严重影响生产系统的性能。MapR 通过创建 MapR-DB 解决了该问题。MapR-DB 模仿了谷歌的 BigTable,支持 HBase API,是一个零管理实时数据库。

系统集成

HDFS 不兼容 POSIXNFS。要查看 HDFS 中的文件,只能通过 HDFS 命令行接口来查询。MapR-FS 是一个操作系统级的文件系统,兼容 POSIX。查看该分布式文件系统中的文件,只需要使用 LS 命令。编辑其中的文件,也不需要专门的工具。Linux 中任何可以读写 NFS 系统的应用程序都可以读写 MapR-FS。

备份&恢复

Apache Hadoop 在灾难恢复和备份方面存在严重不足。Hadoop 的数据复制可以有效应对磁盘故障,但对数据损坏和人为错误无能为力。谨慎起见,在向生产环境部署新软件之前,需要生成一个数据快照。但是,Apache Hadoop 的快照只是一个元数据副本。而 MapR 快照则近乎是数据的瞬时拷贝,即使文件正在被写入也可以生成。并且,用户还可以生成 MapR-DB 表的快照。

维护&升级

任何优秀的企业应用程序都离不开维护、管理和升级,Hadoop 也不例外。但 Hadoop 的升级维护可能会非常麻烦。MapR 每次发布都会针对许多开源软件项目的多个版本进行测试。它是唯一一个支持在同一个集群上运行软件的不同版本的 Hadoop 版本。

开源软件选择

在使用 Hadoop 的时候,相关开源软件的选择是个难题。MapR 支持开放式 API,提供了一个无偏见的 Hadoop 开源软件集合,使用户能够选择自己需要的开源项目

此外,Jim 还提到,NameNode 是个单点故障点。感兴趣的读者可以进一步阅读

对 MapR 感兴趣的读者,可以下载 MapR M3 社区版本,免费体验 MapR 的

转载自:infoq.com/cn

本站文章除注明转载外,均为本站原创或编译。欢迎任何形式的转载,但请务必注明出处,尊重他人劳动共创开源社区。
转载请注明:文章转载自 开源中国社区 [http://www.oschina.net]
本文标题:一个 Hadoop 老兵的自白
分享
评论(28)
最新评论
0
明显广告
0

引用来自“lgscofield”的评论

TMD,M3版本啥亮点都没有,连spark,storm都没,最大的问题是不开源

引用来自“颠落大帝”的评论

如果你还没到能研究源码的水准,是否开源对你没有区别

引用来自“purple_grape”的评论

开源的直接效益是省钱。
lamp遍地开花,相比win+asp+sqlserver,省的可不是一丁半点。开源的社会效应可想而知。

引用来自“南湖船老大”的评论

lamp遍地开花,是因为免费而不是开源

引用来自“叫我刀刀”的评论

lamp遍地开花,不是因为开源也不是因为免费。是因为PHP是最好的语言。

引用来自“sgon00”的评论

PHP这种垃圾,竟然有人说是最好的语言。。。

引用来自“树相马”的评论

脸谱表示不服!!!!!!

引用来自“sgon00”的评论

1,这个世界只有一个facebook。2,一开始没有抛弃垃圾php,是因为不想换了而已。3,因为php太垃圾了,所以facebook从新开发了hack语言。现在的facebook不是基于php,而是改版后的hack。所以,不是facebook不服,是你不服。facebook早已抛弃php。

引用来自“Arvin-C”的评论

还有人为了这句话喷,对于程序员的社区,“php是最好的语言,没有之一”任何时候都有效。。。哈哈哈
看来是要战啊, 文章不如评论好看。
来吧

JAVA 是最好的语音, 没有之一
0
我擦,标题党
0

引用来自“lgscofield”的评论

TMD,M3版本啥亮点都没有,连spark,storm都没,最大的问题是不开源

引用来自“颠落大帝”的评论

如果你还没到能研究源码的水准,是否开源对你没有区别

引用来自“purple_grape”的评论

开源的直接效益是省钱。
lamp遍地开花,相比win+asp+sqlserver,省的可不是一丁半点。开源的社会效应可想而知。

引用来自“南湖船老大”的评论

lamp遍地开花,是因为免费而不是开源

引用来自“叫我刀刀”的评论

lamp遍地开花,不是因为开源也不是因为免费。是因为PHP是最好的语言。

引用来自“sgon00”的评论

PHP这种垃圾,竟然有人说是最好的语言。。。

引用来自“树相马”的评论

脸谱表示不服!!!!!!

引用来自“sgon00”的评论

1,这个世界只有一个facebook。2,一开始没有抛弃垃圾php,是因为不想换了而已。3,因为php太垃圾了,所以facebook从新开发了hack语言。现在的facebook不是基于php,而是改版后的hack。所以,不是facebook不服,是你不服。facebook早已抛弃php。
还有人为了这句话喷,对于程序员的社区,“php是最好的语言,没有之一”任何时候都有效。。。哈哈哈
0
表示看不懂是什么。。。。。
0

引用来自“lgscofield”的评论

TMD,M3版本啥亮点都没有,连spark,storm都没,最大的问题是不开源

引用来自“颠落大帝”的评论

如果你还没到能研究源码的水准,是否开源对你没有区别

引用来自“purple_grape”的评论

开源的直接效益是省钱。
lamp遍地开花,相比win+asp+sqlserver,省的可不是一丁半点。开源的社会效应可想而知。

引用来自“南湖船老大”的评论

lamp遍地开花,是因为免费而不是开源

引用来自“颠落大帝”的评论

你说的对

引用来自“lgscofield”的评论

呵呵,你怎么就知道我没到呢,骚年,人不可太过自己为是
你是标准的程序员之一,矫情的狠。
0

引用来自“lgscofield”的评论

TMD,M3版本啥亮点都没有,连spark,storm都没,最大的问题是不开源

引用来自“颠落大帝”的评论

如果你还没到能研究源码的水准,是否开源对你没有区别

引用来自“purple_grape”的评论

开源的直接效益是省钱。
lamp遍地开花,相比win+asp+sqlserver,省的可不是一丁半点。开源的社会效应可想而知。

引用来自“南湖船老大”的评论

lamp遍地开花,是因为免费而不是开源

引用来自“颠落大帝”的评论

你说的对
呵呵,你怎么就知道我没到呢,骚年,人不可太过自己为是
0
纯粹一个广告
0

引用来自“eechen”的评论

Javaer不是很喜欢吹嘘Java在大数据领域如何牛逼掉渣天吗?就让文中的 Hadoop 老兵给你们醒醒脑吧.

引用来自“棒子面er”的评论

缺陷是设计和策略造成的,并不是Java;但这个领域PHP是万万不行滴
PHP在大数据领域,连说话的资格都没有。
0

引用来自“eechen”的评论

Javaer不是很喜欢吹嘘Java在大数据领域如何牛逼掉渣天吗?就让文中的 Hadoop 老兵给你们醒醒脑吧.
缺陷是设计和策略造成的,并不是Java;但这个领域PHP是万万不行滴
0

引用来自“eechen”的评论

Javaer不是很喜欢吹嘘Java在大数据领域如何牛逼掉渣天吗?就让文中的 Hadoop 老兵给你们醒醒脑吧.
hadoop的伟大不在于他是用Java实现的,而是在于他的大数据解决方案,和分治的思想的实现。noshare的思路
0
现在已经有插件支持nfs读写。
0
Javaer不是很喜欢吹嘘Java在大数据领域如何牛逼掉渣天吗?就让文中的 Hadoop 老兵给你们醒醒脑吧.
0

引用来自“lgscofield”的评论

TMD,M3版本啥亮点都没有,连spark,storm都没,最大的问题是不开源

引用来自“颠落大帝”的评论

如果你还没到能研究源码的水准,是否开源对你没有区别

引用来自“purple_grape”的评论

开源的直接效益是省钱。
lamp遍地开花,相比win+asp+sqlserver,省的可不是一丁半点。开源的社会效应可想而知。

引用来自“南湖船老大”的评论

lamp遍地开花,是因为免费而不是开源

引用来自“叫我刀刀”的评论

lamp遍地开花,不是因为开源也不是因为免费。是因为PHP是最好的语言。

引用来自“sgon00”的评论

PHP这种垃圾,竟然有人说是最好的语言。。。

引用来自“树相马”的评论

脸谱表示不服!!!!!!
1,这个世界只有一个facebook。2,一开始没有抛弃垃圾php,是因为不想换了而已。3,因为php太垃圾了,所以facebook从新开发了hack语言。现在的facebook不是基于php,而是改版后的hack。所以,不是facebook不服,是你不服。facebook早已抛弃php。
0

引用来自“lgscofield”的评论

TMD,M3版本啥亮点都没有,连spark,storm都没,最大的问题是不开源

引用来自“颠落大帝”的评论

如果你还没到能研究源码的水准,是否开源对你没有区别

引用来自“purple_grape”的评论

开源的直接效益是省钱。
lamp遍地开花,相比win+asp+sqlserver,省的可不是一丁半点。开源的社会效应可想而知。

引用来自“南湖船老大”的评论

lamp遍地开花,是因为免费而不是开源
你说的对
0

引用来自“lgscofield”的评论

TMD,M3版本啥亮点都没有,连spark,storm都没,最大的问题是不开源

引用来自“颠落大帝”的评论

如果你还没到能研究源码的水准,是否开源对你没有区别

引用来自“purple_grape”的评论

开源的直接效益是省钱。
lamp遍地开花,相比win+asp+sqlserver,省的可不是一丁半点。开源的社会效应可想而知。

引用来自“南湖船老大”的评论

lamp遍地开花,是因为免费而不是开源

引用来自“叫我刀刀”的评论

lamp遍地开花,不是因为开源也不是因为免费。是因为PHP是最好的语言。

引用来自“sgon00”的评论

PHP这种垃圾,竟然有人说是最好的语言。。。
脸谱表示不服!!!!!!
0

引用来自“lgscofield”的评论

TMD,M3版本啥亮点都没有,连spark,storm都没,最大的问题是不开源

引用来自“颠落大帝”的评论

如果你还没到能研究源码的水准,是否开源对你没有区别

引用来自“purple_grape”的评论

开源的直接效益是省钱。
lamp遍地开花,相比win+asp+sqlserver,省的可不是一丁半点。开源的社会效应可想而知。

引用来自“南湖船老大”的评论

lamp遍地开花,是因为免费而不是开源

引用来自“叫我刀刀”的评论

lamp遍地开花,不是因为开源也不是因为免费。是因为PHP是最好的语言。
PHP这种垃圾,竟然有人说是最好的语言。。。
0
@eechen 你的兴奋点来了
0

引用来自“lgscofield”的评论

TMD,M3版本啥亮点都没有,连spark,storm都没,最大的问题是不开源

引用来自“颠落大帝”的评论

如果你还没到能研究源码的水准,是否开源对你没有区别

引用来自“purple_grape”的评论

开源的直接效益是省钱。
lamp遍地开花,相比win+asp+sqlserver,省的可不是一丁半点。开源的社会效应可想而知。

引用来自“南湖船老大”的评论

lamp遍地开花,是因为免费而不是开源
lamp遍地开花,不是因为开源也不是因为免费。是因为PHP是最好的语言。
0

引用来自“lgscofield”的评论

TMD,M3版本啥亮点都没有,连spark,storm都没,最大的问题是不开源

引用来自“颠落大帝”的评论

如果你还没到能研究源码的水准,是否开源对你没有区别

引用来自“purple_grape”的评论

开源的直接效益是省钱。
lamp遍地开花,相比win+asp+sqlserver,省的可不是一丁半点。开源的社会效应可想而知。
lamp遍地开花,是因为免费而不是开源
顶部