Apache CarbonData 1.1.0,提高 20-50% 扫描性能 - 开源中国社区
Apache CarbonData 1.1.0,提高 20-50% 扫描性能
王练 2017年05月20日

Apache CarbonData 1.1.0,提高 20-50% 扫描性能

王练 王练 发布于2017年05月20日 收藏 11 评论 0

Apache CarbonData 1.1.0 发布了,CarbonData 是一个为了更快的交互查询而生的 Hadoop 原生文件格式,用于大数据的快速分析和多维度查询 hadoop 本地数据存储设计。

该版本亮点包括:

  • 推出名为 V3 的新数据格式,以提高扫描性能(〜20〜50%)。

  • 改变表格支持。 (针对 Spark 2.1)

  • 支持批量排序以提高数据加载性能。

  • 通过升级到最新的 netty 框架并为每次加载启动 dictionary 客户端,改进了单次传递负载。

  • 支持将范围内的 filter 进行组合,以提高 filter 性能。

  • 在大集群上进行了多处改进,特别是在查询处理中。

  • 此版本中有 160 多个错误和大量改进。

发行日志

下载地址:

https://cwiki.apache.org/confluence/display/CARBONDATA/Apache+CarbonData+1.1.0+Release

>>>【全民狂欢,评论有礼】5月15日-31日评论每日更新的“新闻资讯和软件更新资讯”,评论点赞数超过 20 的可登上每周更新的“源资讯”和“软件周刊”两大栏目,点赞数超过 50 的还将获得 5 活跃积分奖励和开源中国定制好礼。详情

本站文章除注明转载外,均为本站原创或编译。欢迎任何形式的转载,但请务必注明出处,尊重他人劳动共创开源社区。
转载请注明:文章转载自 开源中国社区 [http://www.oschina.net]
本文标题:Apache CarbonData 1.1.0,提高 20-50% 扫描性能
分享
评论(0)
最新评论
顶部