Shark 是一个大型的数据仓库系统为 Spark 的设计与 Apache Hive 兼容。它处理 Hive QL 的性能比 Apache Hive 快 30 倍。支持 Hive 查询语言、元存储、序列化格式和用户自定义函数。
要求:
-
Scala 2.10.3
-
AMPLab's Hive 0.11
-
Spark 0.9.x
Shark 是一个大型的数据仓库系统为 Spark 的设计与 Apache Hive 兼容。它处理 Hive QL 的性能比 Apache Hive 快 30 倍。支持 Hive 查询语言、元存储、序列化格式和用户自定义函数。
要求:
Scala 2.10.3
AMPLab's Hive 0.11
Spark 0.9.x
Shark 0.9.0 发布,改进记录包括: Scala 2.10.3 Spark 0.9.0 (Optional) Tachyon 0.4.0 AMPLab’s Hive 0.11 distribution - binaries for this have now been uploaded to Maven Central (see below) and are provided in the hive-0.11.0-bin.tgz shipped with this release. 详细介绍请看发行说明。 Shark 是一个大型的数据仓库系统为 Spark 的设计与 Apache Hive 兼容。它处理 Hive QL 的性能比 Apache Hive 快 30 倍。支持...
Shark 0.2是Shark的一个正式发布版本,自从原来的0.1版本原型发布,新的版本带来了新的特征,性能提升和稳定性 主要变更如下: Hive兼容性 Shark现在和Hive 0.9兼容,引入了很多新的特性,在0.7之上 完全支持Hive的UDFs和UDAFs Shark 0.2也支持将资源文件(例如:jars)分布到Slaves上,使用Hive的ADD FILE命令 简化的部署 很大程度上简化了部署的流程,例如:本地运行Shark包含了一个5分钟内在本地启动Shark 0.2的指引 除了运行...
评论