HBase 的 Spark SQL Astro

Apache
Java
跨平台
华为
2015-07-23
红薯

华为2015年7月20日在O'Reilly Open Source Convention (OSCON) 上宣布Spark SQL on HBase package正式开源。Spark SQL on HBase package 项目又名 Astro,端到端整合了 Spark,Spark SQL和HBase的能力,有助于推动帮助Spark进入NoSQL的广泛客户群,并提供强大的在线查询和分析以及在垂直企业大规模数据处理能力。

Apache HBase 是数据在 HDFS 上的 Key-Value 存储。它用来给 Google 的 Big Table 建模,并提供了 API 用于查询数据。这些数据通过它的“row keys”来组织、区分和发布。在每个分区上,数据被指定的“列”数据集合“列族”物理分区。这些数据模型是宽且零散的,在这些表中列是动态的,零散的。

尽管 HBase 是非常有用的大数据存储,但是它的访问机制非常原始,只能通过客户端的 API,Map/Reduce 接口和交互的 shell。SQL 访问 HBase 数据可通过 Map/Reduce 或者接口机制,如 Apache Hive 和 Impala,或者一些“本地的” SQL 技术,如 Apache Phoenix。前者实现和使用起来通常比较便宜,它们的延迟和效率通常不如后者,并且只适用于离线分析。后者,与之相反,通常执行得更好,并且限定多个作为联机引擎。它们通常在特定的执行引擎的顶层。

当前的 Astro 1.0 依赖于 Spark 1.4.0,HBase 0.98

构建方法(要求 Maven):

$ git clone https://github.com/HuaweiBigData/astro
$ cd astro
$ mvn -DskipTests clean install 
$ mvn clean install
$mvn -Phbase,hadoop-2.4 test  #运行测试
加载中

评论(1)

N先生
N先生
Astro 中spark在读取hbase分区扫描表中数据这块也是通过sqark shell 做还是用sqarkSql 去做,小菜求思路

暂无资讯

暂无问答

Java9特性预览Jigsaw:模块化系统快速入门指南

JDK9现在已经完成了所有的特性,并且计划在明年三月份出正式版,先让我们来看看其中最受大家期待的模块系统吧!

2016/06/28 17:38
1K
0
星座--抓取其他网站的信息

``` ';exit; */ function constellation($month,$day){ //检查参数有效性 if($month<1||$month>12||$day<1||$day>31) return false; //星座名称以及开始日期 $constellations=array( array("...

2017/10/18 15:13
15
0
活动招募 HUAWEI HiAI公开课·北京站-如何在4小时把你的APP变身AI应用

人工智能和机器学习是全球关注的新趋势,也是当前最火爆、最流行的话题。当你拿手机用语音助手帮你点外卖,智能推荐帮你把周边美食一网打尽;当你拿起P20拍照时,它将自动识别场景进行最美优...

2018/09/19 22:21
10
0
活动招募丨HUAWEI HiAI 能力开放公开课

繁花五月,一起来华为大厦感受HUAWEI HiAI的魅力吧!

2018/05/14 16:47
29
0
HUAWEI DevEco IDE编程利器,让你的应用快速拥有AI能力

近期,一款神器的横空出世, 助力APP接入HUAWEI HiAI的速度又迈上一个新台阶, 它就是HUAWEI DevEco IDE工具! 这款赋有“编程利器”之称的小工具, 在HUAWEI HiAI API能力集成方面有着过人之...

2018/05/21 17:59
271
0
华为P20背后的秘密武器

本文将为你揭开藏在华为P20背后的一件秘密武器,助力您的应用轻松接入AI能力,快速部署,与华为共赢。

2018/04/17 16:04
51
0
Java澳门葡京源码下载设计模式学习记录-适配器模式

前言 之前已经将五个创建型设计模式介绍完了,从这一篇开始介绍结构型设计模式,适配器模式就是结构型模式的一种,适配器要实现的效果是把“源”过渡到“目标”。适配器模式 在开发过程中,使...

2018/07/12 10:22
2
0
你有一张HUAWEI CONNECT门票尚未领取!

8月31日 HUAWEI CONNECT 2016 在上海召开 14位重量级嘉宾 400多位演讲者 200余场专题论坛 80多家华为合作伙伴 1000个互动展台 我们正在塑造 一个云的时代 一个全连接的时代 华为邀请您一起“...

2016/08/15 17:41
202
0
HUAWEI HiAI亮相华为开发者生态大会 助力应用AI开发实现加速度

6月23日,在2018华为终端·全球合作伙伴及开发者大会AI分论坛体验区的一角,被层层叠叠的人群围得水泄不通。站在最前面的一名体验者,正跟随着“快手短视频”APP上不断出现的小人左右扭动,每...

2018/06/27 20:02
21
0
华为会成为下一个苹果或三星吗?

苹果,LG,诺基亚和三星这样的手机制造商不仅成为每天生活的一部分,同时也成为大量广告宣传的一部分。如果中国的华为找到他们的方法,也许这一切都会在未来几年内改变。没听过华为吗?首先我...

2013/03/10 08:38
15
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部