Astro 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
Astro 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
Astro 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
授权协议 Apache
开发语言 Java 查看源码 »
操作系统 跨平台
软件类型 开源软件
所属分类 大数据其他
开源组织 华为
地区 不详
投 递 者 红薯
适用人群 未知
收录时间 2015-07-23

软件简介

华为2015年7月20日在O'Reilly Open Source Convention (OSCON) 上宣布Spark SQL on HBase package正式开源。Spark SQL on HBase package 项目又名 Astro,端到端整合了 Spark,Spark SQL和HBase的能力,有助于推动帮助Spark进入NoSQL的广泛客户群,并提供强大的在线查询和分析以及在垂直企业大规模数据处理能力。

Apache HBase 是数据在 HDFS 上的 Key-Value 存储。它用来给 Google 的 Big Table 建模,并提供了 API 用于查询数据。这些数据通过它的“row keys”来组织、区分和发布。在每个分区上,数据被指定的“列”数据集合“列族”物理分区。这些数据模型是宽且零散的,在这些表中列是动态的,零散的。

尽管 HBase 是非常有用的大数据存储,但是它的访问机制非常原始,只能通过客户端的 API,Map/Reduce 接口和交互的 shell。SQL 访问 HBase 数据可通过 Map/Reduce 或者接口机制,如 Apache Hive 和 Impala,或者一些“本地的” SQL 技术,如 Apache Phoenix。前者实现和使用起来通常比较便宜,它们的延迟和效率通常不如后者,并且只适用于离线分析。后者,与之相反,通常执行得更好,并且限定多个作为联机引擎。它们通常在特定的执行引擎的顶层。

当前的 Astro 1.0 依赖于 Spark 1.4.0,HBase 0.98

构建方法(要求 Maven):

$ git clone https://github.com/HuaweiBigData/astro
$ cd astro
$ mvn -DskipTests clean install 
$ mvn clean install
$mvn -Phbase,hadoop-2.4 test  #运行测试
展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (1)

加载中
打分: 力荐
Astro 中spark在读取hbase分区扫描表中数据这块也是通过sqark shell 做还是用sqarkSql 去做,小菜求思路
2017/11/03 16:48
回复
举报
更多评论
暂无内容
发表了博客
2018/11/26 10:51

Tools for reading paper[astro]

astrobits 上的一篇文章,挺好的,要是去年先看了就好了 https://astrobites.org/2017/12/19/tools-for-reading-papers-part-1/ https://astrobites.org/2018/03/09/tools-for-reading-papers-part-2/ https://astrobites.org/2018/09/06/tools-for-reading-papers-part-3/...

0
0
发表了博客
2009/10/06 18:17

Synopsys Astro IU vZ-2007.03 SP9 SUSE32 1CD

Synopsys Astro IU vZ-2007.03 SP9 SUSE32 1CD Synopsys Astro Rail vZ-2007.03 SP7 Linux 1CD(一个全面的功耗完整性分析和实现工具) Synopsys.Astro-rail vZ-2007.03 SP7 LinuxAMD64 1CD Synopsys.Astro-rail vZ-2007.03 SP7 Linuxipf 1CD Synopsys Astro Rail vZ-2007.03 SP9 SUSE32 1CD Synopsys Astro Tool vZ-2007.03 SP9 SPARC64 1CD Synopsys Astro Tool vZ-2007.03 SP9 SPARCOS5 1CD Synopsys Astro Tool vZ-2007.03 ...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
暂无内容
1 评论
92 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部