华为将 Spark 引入电信行业 —— 构建开源生态,聚焦行业融合

oschina
 oschina
发布于 2015年04月03日
收藏 35

2015年3月25日,在美国加州湾区华为美国研发中心举行的SparkMeetup,吸引了数百名Spark社区参与者,同时提供了Youtube在线会场向全球直播。在Spark技术交流中,来自Databricks的Yin Huai分享了“Data Source API in Spark SQL”的主题。Spark SQL Data Source API是一个方便的功能,使用户可以方便地连接到存储在不同的格式和系统的数据,搭载了Data Source API和SQL,用户可以用最少的安装和配置步骤来操作数据。Yin Huai首先介绍了Data Source API和建立在它之上的统一保存和加载接口,能够显著简化各种源数据的保存和加载过程。接着,Yin Huai使用了一个例子来说明如何可以通过Spark SQL Data Source AP连接自己的数据源。

华为则重点介绍了其社区项目“Spark SQL on HBase”,该项目由华为研发团队于2014年底完成,并于近期开源,旨在提供加速在线海量数据分析的查询引擎。“华为对Spark项目和社区的贡献有力说明了其对该项目的长期努力和坚定信心,作为UC Berkeley AMPLab的早期企业赞助商,多年来,华为以各种方式支持Spark项目” ,Andy Konwinski(Spark committer和Databricks联合创始人)谈到, “我们希望华为能为社区带来更多的用户和使用案例,推动Spark在行业垂直市场的更好发展”。

华为已经看到把Spark引入垂直行业的机会,尤其是在电信行业。“为了释放电信数据资产的全部潜力,大数据平台需要很容易的以插件方式融入整个IT和网络系统,同时提供统一的分析入口允许IT工程师,业务分析师,数据科学家以及网络运维人员继续运用他们已有技能,Spark为其提供了坚实基础和框架。”Bing Xiao,作为华为大数据美研带头人,和大家共享华为的愿景。“为了实现这一使命,在特定领域的专业知识深度积累和将大数据系统和行业融合同等重要。而跨行业和供应商的生态系统则是构建此类行业解决方案的关键”。

3月29日下午国内也同步上演了一场精彩的Spark聚会,与会人员超过150人,吸引了来自阿里巴巴、网易、海康、浙江大学、浙江移动、社区Contributor各公司及社区的参与者,同时也邀请到了部分Spark专家如七牛信息技术总监陈超(国内Spark发起人之一)、《Spark源码剖析》书作者许鹏等。来自淘宝的时金魁做了“图解Spark Core“的精彩讲解,许鹏则为众人解惑” Spark部署中的关键问题解决之道“,来自华为的李昆和刘诗凯分享了Spark技术实践与Spark项目经验。国内Spark发起人陈超表示,“华为应该是中国用Spark最深的企业,在高性能数据处理方面比互联网BAT公司还强。”

本站文章除注明转载外,均为本站原创或编译。欢迎任何形式的转载,但请务必注明出处,尊重他人劳动共创开源社区。
转载请注明:文章转载自 开源中国社区 [http://www.oschina.net]
本文标题:华为将 Spark 引入电信行业 —— 构建开源生态,聚焦行业融合
加载中

最新评论(20

十方三世

引用来自“nirvanalei”的评论

软文颇有互联网范的吹风格,通信里的富士康想改变形象?
up
nirvanalei
nirvanalei
软文颇有互联网范的吹风格,通信里的富士康想改变形象?
xiaohongxiedaima
xiaohongxiedaima
spark使用起来确实比MD简单多 关键是不稳定
星辰大海88
星辰大海88
牛皮吹大了
bwzhang2015
bwzhang2015
http://www.jdon.com/47185
请大家看一下这篇文章,所谓快慢都有应用场景。
华为虽然深度定制了SPARK包括一些核心开发者,但是华为的开源影响的确与它的名气不成正比。还有你使用SPARK是要追寻所谓天下第一的数据处理快感麽,或许将来还有笔SPARK更快的出现的方案。
一号男嘉宾
一号男嘉宾

引用来自“linux工人”的评论

评论有亮点。
难道是他?
NickWilde
NickWilde
评论有亮点。
fuck_life
fuck_life
继续用我的php
javasql
javasql

引用来自“Beyond-Bit”的评论

这玩意烧内存啊!
是呀,性能的提高主要靠内存中运算呀!
南湖船老大
南湖船老大

引用来自“dfar2008”的评论

华为怎么一下子在大数据和云计算方面好像很流弊的样子?
华为在互联网领域一直都不赖啊。还在09的时候,华为就大规模使用NoSQL了
返回顶部
顶部