Spark 发布 0.5.1 更新

A
 AndyYehoo
发布于 2012年10月14日
收藏 4

Spark终于迎来了0.5.0之后的一次小更新,这次更新主要是修正了0.5.0中的一些小Bug,并为下一个大版本0.6.0做好准备

这次的发布主要包括:

- Maven发布:Spark现在可以在Maven中心库被找到,可以更加方便的在其它项目中使用

- Scala版本更新:项目现在默认依赖Scala 2.9.2

- Bug修复:修复了大Reduce任务中可能发生的数据丢失现象,以及在排序操作中选择和抽样分区的时候的算法

- 改进了计数器:一个新的实现了Accumulator接口的Accumulable类,通过避免在很多情况下,创建临时对象,从而提高了性能( Imran Rashid 贡献)

更新后的Spark,在稳定性上会比以前有所改进,更大的提升,还是要等待0.6.0,顺利的话,在年底前可以发布

 

 

本站文章除注明转载外,均为本站原创或编译。欢迎任何形式的转载,但请务必注明出处,尊重他人劳动共创开源社区。
转载请注明:文章转载自 开源中国社区 [http://www.oschina.net]
本文标题:Spark 发布 0.5.1 更新
加载中
返回顶部
顶部