微软开源大数据框架 REEF

来源: OSCHINA
编辑: oschina
2013-08-14

在本周一的国际知识挖掘与数据发现大会上,微软信息服务首席技术官Raghu Ramakrishnan透露微软计划近期内开放其大数据框架REEF(Retainable Evaluator Execution Framework)。REEF被设计运行于下一代Hadoop资源管理器YARN之上,非常适合运行机器学习任务。

reef2-1-microsoft

资源管理器YARN是Apache hadoop项目的一部分,可以让用户在同一物理集群上运行和管理多种任务(例如批处理MapReduce、用Storm进行流处理或图形处理包)。 YARN不但能帮企业整合多个需要管理的系统,还能在同一数据和地点运行多种分析任务。有些情况下,整个工作流都能在单一集群上完成。

但Ramakrishnan指出,有些类型的任务,例如机器学习,对数据移动、任务监控有特殊要求,而且经常需要能够在之前的结果中回滚,并不适合YARN这样的框架。而运行在YARN纸上的REEF能够解决这些问题。

reef-slide

根据Ramakrishnan的演讲稿,REEF分为两个主要部分(上图):

一个是求值器Evaluators,是用来承载REEF服务的容器,另一个是活动代码Activities,是在求值器内部运行的用户代码。

总的来说,REEF是一个很有意义的技术,解决了一些公司长期遗留的难题。值得注意的是,REEF的开源标志着微软对Hadoop(主要通过YARN)及开源社区的战略投入,微软正融入Hadoop开源社区,并试图通过回报社区让自己在开发者眼中变得“性感”起来。

总体来看,微软大数据战略的核心 是在Azure上提供Hadoop、机器学习、高性能计算和数据分析服务。因此,微软在大数据技术方面的动作也绝不仅限于与Hortonworks在 Hadoop平台上的合作,正如微软技术研究员Dave Campbell所言:“Hadoop只是微软信息生产线迈出的第一步。”而REEF的开源,正是微软打造机器学习业务生态环境的第一步。

文章来自IT经理网

展开阅读全文
41 收藏
分享
加载中
最新评论 (46)
争论语言谁优秀,毫无意义
2013-08-15 12:09
0
回复
举报

引用来自“okgood”的评论

引用来自“赵健华”的评论

始终认为,.net不完全开源,对微软来说,开源毫无意义

.net开源又如何?我java不知道比他优秀多少倍

语言之间无可比性,存在即道理,分别只是在某个领域占有市场的多少而已
2013-08-15 12:08
0
回复
举报

引用来自“唐海康”的评论

引用来自“李飞麟”的评论

引用来自“landis”的评论

单凭1点,Java就胜过了.net ,跨平台,.net无法与java比较

Mono上运行的.NET程序也很稳定!mono运行在*unix系统上!

jaba的跨平台做的也不是很好的,mono现在对。net的支持有限。

mono3.2版本已经支持.net的4.0了。基本上现在mono是随着微软的脚步走。像阿里云,微软Azure的linux下的.net运行都是用的mono。
2013-08-15 09:26
0
回复
举报
回复于: 2012-09-14 14:55:09
鉴于 okgoood 使用论坛私信 辱骂版主
okgoood 在现有7天XHW的基础上再追加 365天

希望okgoood 能够冷静反省一下自己

对任何处理有异义,都可到社区支持版块进行投诉

使用论坛私信进行侮辱性的言语是绝对不能容忍的!

CSDN 看到的
2013-08-14 23:27
0
回复
举报

引用来自“明述道长”的评论

引用来自“Gmail.com”的评论

仅谈一下语言的层次.
找来一个Java8新特性介绍的文章
http://www.oschina.net/translate/everything-about-java-8?p=2
举几个例子,比如对lambda的支持,和java.util.stream的新功能,还有并行库的引入...
估计一下Java8什么时候正式发布,再回头想一想.Net都是在什么时候支持了这些新功能.
最后反思一下到底是谁在追赶谁.

我发现你真实java黑啊 平台和语言都分不清

我举的例子,难道仅仅是C#在语言层次上的支持吗?
还不是.Net平台提供的支持?
难道VB.Net等等就不能享受这些特性?
2013-08-14 20:53
0
回复
举报

引用来自“Gmail.com”的评论

仅谈一下语言的层次.
找来一个Java8新特性介绍的文章
http://www.oschina.net/translate/everything-about-java-8?p=2
举几个例子,比如对lambda的支持,和java.util.stream的新功能,还有并行库的引入...
估计一下Java8什么时候正式发布,再回头想一想.Net都是在什么时候支持了这些新功能.
最后反思一下到底是谁在追赶谁.

我发现你真实java黑啊 平台和语言都分不清
2013-08-14 20:11
0
回复
举报

引用来自“Gmail.com”的评论

仅谈一下语言的层次.
找来一个Java8新特性介绍的文章
http://www.oschina.net/translate/everything-about-java-8?p=2
举几个例子,比如对lambda的支持,和java.util.stream的新功能,还有并行库的引入...
估计一下Java8什么时候正式发布,再回头想一想.Net都是在什么时候支持了这些新功能.
最后反思一下到底是谁在追赶谁.

真逗 .net是平台,java是语言,你这么说 ,scala和groovy不知道比c#语法先进多少倍
2013-08-14 20:11
0
回复
举报
更多评论
46 评论
41 收藏
分享
返回顶部
顶部