Apache HBase 2.0.0 发布,Hadoop 数据库

来源: OSCHINA
编辑: h4cd
2018-05-03 06:45:00

Apache HBase 2.0.0 发布了,HBase 2.0.0 是 HBase 的第二个主要版本。

此次更新信息如下:

  • 一个新的区域分配管理器(“AMv2”), 用于配置读取和/或写入路径以运行堆外的装置,以及可选的内存中压缩(“IMC”,A.K.A“Accordion”)设施。

  • MultiHFileOutputFormat。

  • 基本的客户端推回机制。

  • 将所有编辑的 log4j 类别添加到 META / ROOT。

  • 基于 RegionServer 组的分配。

  • 添加 ClusterManager 接口的 REST API 实现。

  • 基于 mmap() 的 BucketCache IOEngine。

  • SyncTable - 用于 HBase 表的 rsync。

  • 为每个列族扫描不同的 TimeRange。

  • 在 META 中保持表状态。

  • 添加新的 AsyncRpcClient。

  • 弃用/禁用并删除对从类路径中读取 ZooKeeper zoo.cfg 文件的支持。

  • PerformanceEvaluation 生成10倍预期映射器数量。

详情见发布公告

HBase 是一个 Hadoop 数据库,它是一个高可靠、高性能、面向列、可伸缩的分布式存储系统,利用HBase 技术可在廉价 PC Server 上搭建起大规模结构化存储集群。

HBase是Google Bigtable的开源实现,类似Google Bigtable利用GFS作为其文件存储系统,HBase利用Hadoop HDFS作为其文件存储系统;Google运行MapReduce来处理Bigtable中的海量数据,HBase同样利用Hadoop MapReduce来处理HBase中的海量数据;Google Bigtable利用 Chubby作为协同服务,HBase利用Zookeeper作为对应。

上图描述了Hadoop EcoSystem中的各层系统,其中HBase位于结构化存储层,Hadoop HDFS为HBase提供了高可靠性的底层存储支持,Hadoop MapReduce为HBase提供了高性能的计算能力,Zookeeper为HBase提供了稳定服务和failover机制。

此外,Pig和Hive还为HBase提供了高层语言支持,使得在HBase上进行数据统计处理变的非常简单。 Sqoop则为HBase提供了方便的RDBMS数据导入功能,使得传统数据库数据向HBase中迁移变的非常方便。

点击进入下载地址

展开阅读全文
点击加入讨论🔥(3) 发布并加入讨论🔥
3 评论
7 收藏
分享
返回顶部
顶部