Spark 和 Hadoop 是朋友不是敌人
oschina 2015年07月14日

Spark 和 Hadoop 是朋友不是敌人

oschina oschina 发布于2015年07月14日 收藏 43 评论 15

活动招募——Python开发趣味应用>>>  

6月15日,IBM 宣布计划大规模投资 Spark 相关技术,此项声明会促使越来越多的工程师学习 Spark 技术,并且大量的企业也会采用 Spark 技术。

Spark 投资的良性循环会使 Spark 技术发展更加成熟,并且可以从整个大数据环境中获益。然而,Spark 的快速增长给人们一个奇怪且固执的误解:Spark 将取代 Hadoop,而不是作为 Hadoop 的补充。这样的误解可以从类似“旨在比下 Hadoop 的新软件”和“企业将放弃大数据技术 Hadoop”的标题中看出来。

作为一个长期的大数据实践者,雅虎投资 Hadoop 的早期倡导者,一个为企业提供大数据服务的公司的 CEO ,我想在这篇文章中提出几个明确的观点。

Spark 和 Hadoop 会和谐相处。

越来越多的企业选择 Hadoop 做大数据平台,而 Spark 是运行于 Hadoop 顶层的内存处理方案。Hadoop 最大的用户 —— 包括 eBay 和雅虎 —— 都在 Hadoop 集群中运行着 Spark。Cloudera 和 Hortonworks 将 Spark 列为他们 Hadoop 发行的一部分。自从我们推出 Spark 之后,用户一直在使用着 Spark。

将 Spark 置于和 Hadoop 对立的位置,就好像是说你的新电动汽车看起来很高级,所以你的车就不需要充电一样。如果电动汽车真的普及的话,那只会带来更多的用电需求。

为什么这么迷惑呢?现在的 Hadoop 包括两个主要的组件。第一个是大规模储存系统,叫做 Hadoop Distributed File System (HDFS),它以低功耗、高性能的方式储存数据,并且能优化大数据的种类和读取速度。第二个是一个计算引擎,叫做 YARN,它能在储存在 HDFS 上的数据顶层运行大规模并行程序。

YARN 可以承载任何数量的程序框架。原始的框架是 MapReduce,它由谷歌发明,用于处理大规模页面抓取。Spark 是另一个类似的框架,另一个新的框架叫做 Tez。当人们谈论 Spark“干掉”Hadoop 时,他们往往指的是程序员更喜欢将 Spark 用在老的 MapReduce 框架上。

然而,MapReduce 不等同于 Hadoop。MapReduce 只是 Hadoop 集群处理数据的多种方式之一。Spark 可以是替代品。说得更宽点,商业分析师 —— 持续增长的大数据从业者 —— 会避免使用这两个对于程序员来说十分低端的框架。相反,他们会使用更高级的语言,例如 SQL ,来让 Hadoop 更容易访问。

在过去的四年中,基于 Hadoop 的大数据技术达到了前所未有的创新水平。我们已经从 SQL 批处理转向互动:从单一框架(MapReduce)转到多框架(MapReduce、Spark 等等)。

我们已经看到了 HDFS 优异的性能和安全性的改善,并且我们还看到了顶层工具的井喷 , 例如 DatameerH20Tableau。大量不同领域的数据科学家和商业用户使这些大数据工具变得更为易用。

Spark 对于 Hadoop 来说不是挑战,也不是来取代 Hadoop 的。相反,Hadoop 是 Spark 成长发展的基础。我们希望两个组织都能有长足的发展,并且成为将数据资产转化为可执行商业计划的最有活力的平台。

Via:TechCrunch

本站文章除注明转载外,均为本站原创或编译。欢迎任何形式的转载,但请务必注明出处,尊重他人劳动共创开源社区。
转载请注明:文章转载自 开源中国社区 [http://www.oschina.net]
本文标题:Spark 和 Hadoop 是朋友不是敌人
分享
评论(15)
最新评论
0

引用来自“doubi陆”的评论

一厢情愿罢了,hadoop赶紧退出历史舞台,hdfs算狗屎,swift,ceph哪个不比他强。赶紧去死,给spark腾空间。

引用来自“mgic”的评论

严重支持
支持可以, 最好发篇测试出来, 这样才信服。 首先你要 精通 hadoop 与 spark 否则只精通一个另一个没有发挥它的性能额。
0
恩, IE 和 google 也是朋友。 IE 把不愿意被他恶心的用户送给了 google。
0
你我皆朋友
0
因为hadoop在一些大型企业已有部署,如果spark把自己扮演成hadoop杀手的角色,显然是不利于spark的推广的。
0

引用来自“doubi陆”的评论

一厢情愿罢了,hadoop赶紧退出历史舞台,hdfs算狗屎,swift,ceph哪个不比他强。赶紧去死,给spark腾空间。

引用来自“mgic”的评论

严重支持
还有我的分布式系统
0

引用来自“doubi陆”的评论

一厢情愿罢了,hadoop赶紧退出历史舞台,hdfs算狗屎,swift,ceph哪个不比他强。赶紧去死,给spark腾空间。
严重支持
0
是好基友
0
一厢情愿罢了,hadoop赶紧退出历史舞台,hdfs算狗屎,swift,ceph哪个不比他强。赶紧去死,给spark腾空间。
0
是基友
0
必须是朋友,目前spark的存储(生产环境)还必须依赖HDFS
0
office和wps也是好朋友
0
良心竞争才会发展!
0
啥时候hadoop把hdfs和yarn独立出来?
0
linux和windows 也是朋友
0
嗯,chrome和firefox也是朋友
顶部