Apache Spark 2.0 最快今年4月亮相

oschina
 oschina
发布于 2016年02月29日
收藏 25

1月才刚释出1.6版的大数据技术Spark,下一个2.0版本预计4、5月释出,将提供可运行在SQL/Dataframe上的结构化串流即时引擎,并统一化Dataset及DataFrame

大数据技术Spark今年1月才刚释出1.6版,下一个2.0版本就已经蓄势待发,预计今年4、5月释出,近日Spark创办人、同时也是 Databricks技术长的Matei Zaharia,更在2016 Spark Summit上,抢先揭露了Spark 2.0即将带来的3大主要特色:包括能大幅提升Spark平台效能的Project Tungsten即将进入第二阶段,提供涵盖完整阶段的程式码产生器,Spark 2.0也将提供可运行在SQL/Dataframe上的结构化串流即时引擎,并统一化Dataset及DataFrame。

其中,持续改善Spark应用程式的记忆体及CPU效能的Project Tungsten,是一项帮助Spark大幅提升核心引擎效能的长期专案,目的是要让Spark执行效能达到硬体设备的极限,藉由内建原生记忆体管理机制 以及Runtime层级的程式码产生器,来达到接近裸机的效能。

Spark从1.4到1.6版本时,便开始靠 Tungsten来优化Spark的资料处理效能,除了加入二进位的储存方式,以及基础的程式码产生器,也增加了用来描述RDD结构的DataFrame 格式,以及新的资料集API(Dataset API),让Tungsten可被运行在使用者专案中来提升效能表现,也可用于Spark SQL及部分的MLlib上。Spark 1.6新增了基于DataFrame的扩充元件Dataset API,相较于过去的RDD API,Dataset提供更好的记忆体管理效能,及较佳的长时间执行效能。

而Spark2.0版本则将进一步提供涵盖完整阶段的程式码产生器,不仅能移除递迴式呼叫,减少效能损耗,还能进行跨运算子之间的整合,并藉由Parquet及内建快取(Built-in Cache)来优化I/O效能。

预计Spark2.0的效能将翻9倍,从1.6版时每秒可处理的1,400万个栏位,暴增到1亿2,500万,其中的Parquet效能,也将从每 秒1,100万提升到每秒9,000万笔。Databricks表示,Spark技术在2015年有非常显著的成长,其贡献者在2015年已经超过 1000人,是2014年的2倍,参与各地区定期聚会的会员数量也从1万多人暴增至6万多人。而Spark 2.0将是下一个重大更新版本,预计今年4、5月释出。

稿源:ITHome

本站文章除注明转载外,均为本站原创或编译。欢迎任何形式的转载,但请务必注明出处,尊重他人劳动共创开源社区。
转载请注明:文章转载自 OSCHINA 社区 [http://www.oschina.net]
本文标题:Apache Spark 2.0 最快今年4月亮相
加载中

最新评论(16

感谢分享
感谢分享
Spark全面精讲(基于Spark2版本+含Spark调优+超多案例)
课程观看地址:http://www.xuetuwuyou.com/course/149
课程出自学途无忧网:http://www.xuetuwuyou.com/
new-object
new-object

引用来自“东方星痕”的评论

一定要用scala吗?
同时支持 Java 和 Python 啊,Java 和 Scala 支持的最好,Python 往往一些新特性比较延后。
天蚕宝衣
天蚕宝衣

引用来自“紫电清霜”的评论

释出,这个词怎么觉得别扭?

引用来自“电磁怪兽”的评论

release这个词,怎么翻译才恰当不别扭呢? 36

引用来自“罪恶的花生”的评论

编译版本

引用来自“电磁怪兽”的评论

明显还是奇怪←_←有不编译的版?
我感觉应该译“发布”。
二的基本算合格
二的基本算合格

引用来自“东方星痕”的评论

一定要用scala吗?
如果只是使用,不是非用Scala。Java/Python都可以~
电磁怪兽
电磁怪兽

引用来自“紫电清霜”的评论

释出,这个词怎么觉得别扭?

引用来自“电磁怪兽”的评论

release这个词,怎么翻译才恰当不别扭呢? 36

引用来自“罪恶的花生”的评论

编译版本
明显还是奇怪←_←有不编译的版?
罪恶的花生
罪恶的花生

引用来自“紫电清霜”的评论

释出,这个词怎么觉得别扭?

引用来自“电磁怪兽”的评论

release这个词,怎么翻译才恰当不别扭呢? 36
编译版本
电磁怪兽
电磁怪兽

引用来自“紫电清霜”的评论

释出,这个词怎么觉得别扭?
release这个词,怎么翻译才恰当不别扭呢? 36
东方星痕
东方星痕
一定要用scala吗?
潇湘暮雨
潇湘暮雨

引用来自“紫电清霜”的评论

释出,这个词怎么觉得别扭?

引用来自“鱼头汤III”的评论

呵呵,还有记忆体。。。
程式
卖红薯
卖红薯
good
返回顶部
顶部