Spark终于迎来了0.5.0之后的一次小更新,这次更新主要是修正了0.5.0中的一些小Bug,并为下一个大版本0.6.0做好准备
这次的发布主要包括:
- Maven发布:Spark现在可以在Maven中心库被找到,可以更加方便的在其它项目中使用
- Scala版本更新:项目现在默认依赖Scala 2.9.2
- Bug修复:修复了大Reduce任务中可能发生的数据丢失现象,以及在排序操作中选择和抽样分区的时候的算法
- 改进了计数器:一个新的实现了Accumulator接口的Accumulable类,通过避免在很多情况下,创建临时对象,从而提高了性能( Imran Rashid 贡献)
更新后的Spark,在稳定性上会比以前有所改进,更大的提升,还是要等待0.6.0,顺利的话,在年底前可以发布
暂无更多评论