Spark 2.0 预览:更简单,更快,更智能

oschina
 oschina
发布于 2016年05月12日
收藏 49

Apache Spark 2.0 技术预览在 Databricks Community Edition 发布。该预览包使用upstream branch-2.0构建,当启动Cluster时,使用预览包和选择“2.0 (Tech Preview)” 一样简单。

Screenshot of creating a new Apache Spark 2.0 Tech Preview Cluster workflow in Databricks

离最终的Apache Spark 2.0发布还有几个星期,现在先来看看有什么新特性:

Spark 2.0: Easier, Faster, Smarter

更简单:SQL和简化的API

Spark 2.0依然拥有标准的SQL支持和统一的DataFrame/Dataset API。但我们扩展了Spark的SQL 性能,引进了一个新的ANSI SQL解析器并支持子查询。Spark 2.0可以运行所有的99 TPC-DS的查询,这需要很多的SQL:2003功能。

在编程API方面,我们已经简化了API:

  • 统一Scala/Java下的DataFrames 和 Datasets 

  • SparkSession

  • 更简单、更高性能的Accumulator API

  • 基于DataFrame的Machine Learning API 将成为主要的ML API

  • Machine Learning 管道持久性 

  • R中的分布式算法

更快:Spark 作为一个编译器

Spark 2.0将拥有更快的速度,下图是Spark 2.0和Spark 1.6的速度对比图:


更智能:结构化数据流

通过在DataFrames之上构建持久化的应用程序来不断简化数据流,允许我们统一数据流,支持交互和批量查询。

了解更多: Spark 2.0: Easier, Faster, and Smarter

本站文章除注明转载外,均为本站原创或编译。欢迎任何形式的转载,但请务必注明出处,尊重他人劳动共创开源社区。
转载请注明:文章转载自 OSCHINA 社区 [http://www.oschina.net]
本文标题:Spark 2.0 预览:更简单,更快,更智能
加载中

最新评论(6

感谢分享
感谢分享
Spark全面精讲(基于Spark2版本+含Spark调优+超多案例)
课程观看地址:http://www.xuetuwuyou.com/course/149
课程出自学途无忧网:http://www.xuetuwuyou.com/


深入浅出Spark机器学习实战(用户行为分析)
课程观看地址:http://www.xuetuwuyou.com/course/144

Spark+Kafka 实时流机器学习实战
课程观看地址:http://www.xuetuwuyou.com/course/147
乱世刀客
乱世刀客
期待2.0
a
astars
可以弄死nosql吗
二的基本算合格
二的基本算合格
一个赛艇~是不是缺省采用scala 2.11编译,自己编译好烦啊~
一刀
一刀
期待正式版
返回顶部
顶部