Hadoop 目前只是“穷人的 ETL”

oschina
 oschina
发布于 2013年05月16日
收藏 47

虽然企业部署Hadoop大数据系统的最终目的是进行“性感”的分析应用,但是大多数企业距离这一目标还很远很远。

根据IDC发布的Hadoop-MapReduce软件生态系统预测报告,Hadoop 市场正在以60%的年复合增长率高速扩张。但是该报告也揭示了一个让人吃惊的事实,作为大数据分析应用的代名词,Hadoop的流行其实与数据分析无关。 实际上大多数采用Hadoop的公司都没有将Hadoop用于大数据分析,而是把Hadoop作为一种廉价的海量存储和ETL(抽取、转换、加载)系统。

穷人的ETL

Hadoop ETL

虽然被打上了“大数据分析工具”的标签,但在大多数企业眼里,Hadoop是“穷人的ETL”。目前确实有个别企业将Hadoop用于运行激动人心的分析工作,但这只是个案。Cloudera曾提出Hadoop的三大应用模式:Transform、Active Archive和Exploration,但是业内人士分析,目前至少有75%的部署Hadoop的企业还都只是停留在前两个模式中:将Hadoop作为廉价的ETL方案,或者用作垃圾数据填埋场。

Hadoop之路

Hadoop诞生已经7年了,但是Hadoop在企业中的应用还有很长的路要走。451研究所的分析师Matt Aslett在Hadoop峰会上的演讲指出,企业采用Hadoop需要经历三个发展阶段,从一开始用来存储海量数据,到对数据进行处理和转换,到最终开始分析这些数据。我们还处于Hadoop市 场和技术生命周期的早期阶段,Rainstor的调查显示,即使是最高级的Hadoop用户,也认为Hadoop最大的挑战是时间(26%)和编程 (25%)。根据Gartner的调查,目前只有6%的企业开始部署大数据项目,企业还需要更多成功案例指路,同时也需要更多时间消化相关技术。

文章来自IT经理网

本站文章除注明转载外,均为本站原创或编译。欢迎任何形式的转载,但请务必注明出处,尊重他人劳动共创开源社区。
转载请注明:文章转载自 OSCHINA 社区 [http://www.oschina.net]
本文标题:Hadoop 目前只是“穷人的 ETL”
加载中

精彩评论

netkiller-
netkiller-
我们都在重复重复的做同一个事情。 不停地使用新技术,做的事情没有任何改变。

最新评论(21

云渊阁
云渊阁
楼主分析的好正确啊,连平安都是这样。。。。。
Biblical
Biblical
那么linux不也是穷人用的吗~??
netkiller-
netkiller-
我们都在重复重复的做同一个事情。 不停地使用新技术,做的事情没有任何改变。
氪金
氪金
总有第一步,才有第二步的。
IT民工-潇洒生活
IT民工-潇洒生活

引用来自“开҉源҉狂҉人҉”的评论

富人用什么?

teradata
CheckStyle
CheckStyle

引用来自“Mallon”的评论

哈哈这种炒作的东西迟早会完蛋,几十年前的概念

大企业里这种数据挖掘的概念...确实已经默默实施了N年了...
熊雨凯
熊雨凯
说的有道理,但文章中说的ETL和Exploration有什么区别?什么才叫Exploration?
包括什么是Active Archive,我想这是业内人士需要现在搞明白的。
朱坤朋
朱坤朋
说的太对了。不过对于从来不知道ETL是何物的开发人员,拿来MR,就是做数据转换用的
mallon
mallon
哈哈这种炒作的东西迟早会完蛋,几十年前的概念
任可
teradata+aster
返回顶部
顶部