Apache BookKeeper 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
Apache BookKeeper 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
Apache BookKeeper 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」 !
Apache BookKeeper 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」「最积极运营项目」 !
Apache BookKeeper 获得 2020 年度 OSC 中国开源项目评选「最积极运营项目」 !
授权协议 Apache
开发语言 Java
操作系统 跨平台
软件类型 开源软件
开源组织 Apache
地区 不详
投 递 者 红薯
适用人群 未知
收录时间 2011-12-08

软件简介

Apache BookKeeper 是一个可以方便扩展,高可用,低延迟的存储系统。BookKeeper 专门为 append-only 的工作模式提供了优化,在以下的应用场景中非常适用:

  1. WAL (Write-Ahead-Logging), 例如 HDFS 的 NameNode 。

  2. 消息存储系统,例如 Apache Pulsar 。

  3. Offset/Cursor 存储系统,例如在 Apache Pulsar 中用来存储消息消费位置。

  4. Object/Blob Store 对象存储系统,例如存储状态机的 snapshots 。

Get Started

1, BookKeeper 的相关概念: 了解 BookKeeper 的基本概念和术语,可以作为一个开始,帮助你更好的深入了解 BookKeeper。

2,了解 BookKeeper 的安装和 setup 可以从这里开始,项目的文档中也包含 Docker,Kubenetes和DC/OS 的相关部署。

文档

1, 开发者 Developers 文档

如果你想使用更高级的log stream的API,可以通过这篇文章来了解怎样把ledgers变成一个连续的log stream。基于BookKeeper的子项目DistributedLog, 可以更方便的操作log stream。

2, BookKeeper 管理员 Administrators 文档

3, 代码贡献者 Contributors

参与到BookKeeper

1,有关于BookKeeper的问题或需要帮助

  • 订阅 或者 发邮件 到 user@bookkeeper.apache.org list, 这里不但可以请教问题,找到答案,还可以帮助其他的遇到同样问题的用户。 - Ask questions, find answers, and also help other users.

  • 订阅 或者 发邮件 到 dev@bookkeeper.apache.org list, 这里可以和BookKeeper的开发人员相互交流,加入技术讨论,提出新的想法或feature。

  • 加入Slack , 这里提供了最直接和快速的方式来和BookKeeper的committer和developer交流。

2, 为BookKeeper社区提供贡献

1) Report a Bug

通过开Github issue , 可以报告bug、 为现有代码提出改进意见或者对新的功能的要求。

2) 贡献代码

这里提供了开发人员的环境设置和需要的准备工作。

- 通过Github Issues了解BookKeeper正在进行的相关工作。

- 通过coding style 和现有的pull requests来了解相关的约定和惯例,也可以对PR提出review建议。

- 遵循contribution guide来提供你的修改。

3) 提供文档和网站的改进

开一个Github Issues;提供你的修改,然后通过这里了解怎样对网站和文档进行build来验证你的修改;最后提供你的修改pull request

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (1)

加载中
StreamNative北京原流数据科技发展有限公司
打分: 力荐
2017/12/06 15:57
回复
举报
更多评论
发表了资讯
09/03 13:33

祝贺 StreamNative 工程师张勇成功跻身 Apache BookKeeper Committer

关于 Apache BookKeeperApache BookKeeper 作为 Apache 软件基金会顶级项目,是一个优化实时工作负载的存储服务,旨在保证高持久性、一致性与低延迟等特性。BookKeeper 具备多种企业级存储平台功能,如支持持久、一致、容错地存储数据,有效地存储、访问历史数据与实时数据等,并广泛应用于多种业务场景,例如为分布式系统提供高可用性或多副本;在单个或多个集群间(多个数据中心)提供跨机器复制;为消息系统(如 Apache Pul...

3
1
发表于数据库专区
02/27 07:21

Apache BookKeeper 4.13.0 发布

Apache BookKeeper 是一个可扩展、容错、低延迟的存储服务,针对实时工作负载进行了优化。它已被用作构建可靠服务的基础服务。它也是 Apache DistributedLog 的日志段存储和 Apache Pulsar 的消息存储。 4.13 版本提高了串流存储的可靠性,为串流存储和 Prometheus HTTP 服务器带来了额外的配置选项,修复了多个 bug,并将关键的依赖关系更新。 该版本的技术细节总结如下: 重点: 表服务可靠性改进 Rocksdb DLCheckpoint SST 文...

1
4
发表于AI & 大数据专区
2019/11/17 07:46

Apache BookKeeper 4.10.0 发布,实时存储服务

Apache BookKeeper 4.10.0 发布了,BookKeeper 是一个针对实时工作负载优化的可扩展、容错和低延迟的存储服务,已作为基础存储服务被用于构建各种可靠的服务,同时也是 Apache DistributedLog 的日志段存储和 Apache Pulsar 的消息存储。 值得注意的更新内容: 添加新的 bkctl shell 工具 群集元数据检查器 日志应遵守 flushWhenQueueEmpty 设置 允许覆盖默认的 SASL 服务名称 “bookkeeper” 使默认 Bookie 脚本在 JDK11+ 上运...

1
7
发表于运维专区
2018/12/09 06:25

Apache BookKeeper 4.7.3 发布,实时存储服务

Apache BookKeeper 4.7.3 发布了,这是当前的稳定版本。 BookKeeper 是一个针对实时工作负载优化的可扩展、容错和低延迟的存储服务,已作为基础存储服务被用于构建各种可靠的服务,同时也是 Apache DistributedLog 的日志段存储和 Apache Pulsar 的消息存储。 主要更新亮点如下: Cancel Scheduled SpeculativeReads, see apache/bookkeeper#1665 IllegalReferenceCountException at closing EntryLogManagerForSingleEntryLog...

0
8
发表于服务端专区
2018/12/02 07:34

Apache BookKeeper 4.8.1 发布,低延迟的存储系统

Apache BookKeeper 是一个针对实时工作负载优化的可扩展、高容错和低延迟的存储服务,已作为基础存储服务被用于构建各种可靠的服务,同时也是 Apache DistributedLog 的日志段存储和 Apache Pulsar 的消息存储。 Apache BookKeeper 4.8.1 已发布,更新亮点: Use default metrics registry in Prometheus exporter Don’t cache Bookie hostname DNS resolution forever Reduce stack traces in logs for common cases Ledger ...

0
6
发表于运维专区
2018/09/08 07:15

Apache BookKeeper 4.7.2 发布,低延迟的存储系统

Apache BookKeeper 是一个针对实时工作负载优化的可扩展、高容错和低延迟的存储服务,已作为基础存储服务被用于构建各种可靠的服务,同时也是 Apache DistributedLog 的日志段存储和 Apache Pulsar 的消息存储。 Apache BookKeeper 4.7.2 已发布,这是一个 bug 修复版本,修复了 4.7.1 用户报告的一系列问题。更改包括围绕 DbLedgerStorage 的 bug 修复,以及一些整体上的失败处理 等等。 具体更新细节可查阅: https://bookke...

0
5
发表于软件架构专区
2018/06/21 07:30

Apache BookKeeper 4.7.1 发布,低延迟的存储系统

Apache BookKeeper 是一个针对实时工作负载优化的可扩展、高容错和低延迟的存储服务,已作为基础存储服务被用于构建各种可靠的服务,同时也是 Apache DistributedLog 的日志段存储和 Apache Pulsar 的消息存储。 Apache BookKeeper 4.7.1 已发布,这是一个 bug 修复版本,修复了 4.7.0 用户报告的一系列问题。更改包括围绕 ledger 缓存和对象池的一些修复,性能改进以避免 memory copies ,以及各种 bug 修复和有关表服务的改进...

0
7
发表于软件架构专区
2018/04/24 08:00

Apache BookKeeper 4.7.0 发布,低延迟的存储系统

Apache BookKeeper 是一个针对实时工作负载优化的可扩展、高容错和低延迟的存储服务,已作为基础存储服务被用于构建各种可靠的服务,同时也是 Apache DistributedLog 的日志段存储和 Apache Pulsar 的消息存储。 Apache BookKeeper 4.7.0 已发布,这是自上个主要版本 4.6.0 发布以来的又一个里程碑版本,包含数百项 BUG 修复、改进和特性。Yahoo 分支已完全合并到上游,而 Apache Pulsar(孵化)也将在其即将发布的 2.0 版本中使...

1
6
发表于软件架构专区
2018/02/01 07:54

Apache BookKeeper 4.6.1 发布

Apache BookKeeper 4.6.1 发布了。Apache BookKeeper 是 ZooKeeper 的子项目,由一个分布式日志服务(BookKeeper)和一个分布式发布和订阅系统(Hedwig)组成。 主要更新内容: Fix critical bug on index persistence manager Fix critical bug to allow using versions of Netty newer than 4.1.2 on classpath Enhance Java 9 compatibility New option to track task execution time Distribute a version of BookKeeper which ...

2
4
发表了资讯
2017/12/27 07:30

Apache BookKeeper 4.6.0 发布

Apache BookKeeper 4.6.0 发布了。Apache BookKeeper 是 ZooKeeper 的子项目,由一个分布式日志服务(BookKeeper)和一个分布式发布和订阅系统(Hedwig)组成。 此次更新覆盖一下领域: Dependencies Upgrade Bookie enhancement BookKeeper Admin REST API New BookKeeper API Performance improvement Deployment or Ease of use 依赖更新: Upgrade Protobuf to 3.4. Bookie 增强: Persistable bookie status. Introduce Booki...

1
10
发表了资讯
2017/08/12 07:51

Apache BookKeeper 4.5.0 发布

Apache BookKeeper 4.5.0 发布了。Apache BookKeeper 是 ZooKeeper 的子项目,由一个分布式日志服务(BookKeeper)和一个分布式发布和订阅系统(Hedwig)组成。 此次更新覆盖领域: Dependencies Upgrade Security Public API Performance Operations 依赖更新: Moved the developement from Java 7 to Java 8. Upgrade Protobuf to 2.6. Upgrade ZooKeeper from 3.4 to 3.5. Upgrade Netty to 4.1. Upgrade Guava to 20.0. Upgra...

4
21
发表了资讯
2015/12/02 00:00

Apache BookKeeper 4.3.2 发布

Apache BookKeeper 4.3.2 发布,该版本修复 bookies 相关的 bug, 例如处理登陆 log id ,fencing 状态和锁死登陆日志器压缩。完整更新内容请看: http://bookkeeper.apache.org/docs/r4.3.2/releaseNotes.html 下载地址: http://bookkeeper.apache.org/releases.html Apache BookKeeper 是 ZooKeeper 的子项目,由一个分布式日志服务(BookKeeper)和一个分布式发布和订阅系统(Hedwig)组成....

2
22
发表了资讯
2015/01/22 00:00

Apache BookKeeper 4.2.4 发布

Apache BookKeeper 是 ZooKeeper 的子项目,由一个分布式日志服务(BookKeeper)和一个分布式发布和订阅系统(Hedwig)组成. Apache BookKeeper 4.2.4 发布,这是 Apache BookKeeper 成为 Apache 顶级项目之后发布的第一个版本。 此版本包括修复了一些失效模式 ack quorum 小于 write quorum 的不一致问题。更多改进内容请看发行说明: http://bookkeeper.apache.org/docs/r4.2.4/releaseNotes.html 此版本现已提供下载: http://b...

1
15
发表了资讯
2013/02/28 00:00

Apache BookKeeper 4.2.1 发布

Apache BookKeeper 是 ZooKeeper 的子项目,由一个分布式日志服务(BookKeeper)和一个分布式发布和订阅系统(Hedwig)组成. Apache BookKeeper 4.2.1 修复了很多性能方面的问题,强烈建议升级。

0
6
发表了资讯
2013/01/20 00:00

Apache BookKeeper 4.2.0 发布

Apache BookKeeper 4.2.0 增加了一个新的总帐自动恢复机制、只读的赌注模式,改进了 Hedwig 的可伸缩性和消息过滤等等,完整的列表请看发行说明。 Apache BookKeeper 是 ZooKeeper 的子项目,由一个分布式日志服务(BookKeeper)和一个分布式发布和订阅系统(Hedwig)组成.

0
6
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
2020/07/28 16:20

Apache Bookkeeper 概念

Apache Bookkeeper简介 Apache bookkeeper是一个分布式,可扩展,容错(多副本),低延迟的存储系统,其提供了高性能,高吞吐的存储能力。Bookkeeper实现了append方式的写操作。 Bookkeeper有一个非常成功的应用案例:apache pulsar,是近年雅虎开源的一个MQ,pulsar相对于kafka来说,在存储上有优势,kafka的单个partition的存储容量受到了部署kafka的broker的硬盘容量限制,当有大量的数据需要MQ支持时,partition可能会遇到瓶...

0
1
2020/06/11 18:41

BookKeeper 原理浅谈

接着之前的一篇文章 BookKeeper 集群搭建及使用,本文是 BookKeeper 系列的第二篇,短期来看应该也是最后一篇,本篇文章主要聚焦于 BookKeeper 内核的实现机制上,会从 BookKeeper 的基本概念、架构、读写一致性实现、读写分离实现、容错机制等方面来讲述,因为我并没有看过 BookKeeper 的源码,所以这里的讲述主要还是从原理、方案实现上来介绍,具体如何从解决方案落地到具体的代码实现,有兴趣的可以去看下 BookKeeper 的源码...

0
1
发表了博客
2019/08/02 07:22

Apache Bookkeeper 的网络框架

Apache Bookkeeper 的网络框架 概述 Apache Bookkeeper采用的是Request-Response的一问一答方式,对网络请求处理这块直接采用的 Netty框架,所以其实这块可讲的不是太多; Netty 我们在这里就不累述了,网上资料很多,其实我也是一知半解啊 :( 实现 主要实现在文件:bookkeeper-server/src/main/java/org/apache/bookkeeper/proto/BookieNettyServer.java 写法就是常规的Netty框架的使用,具体在listenOn函数中,我们来看一下 Ne...

0
1
2020/06/12 10:00

Apache BookKeeper 很复杂吗?你细品

作为 Pulsar 最重要的一个组件,Apache BookKeeper 支撑着 Pulsar 的一致性、容错性等特点,成为众多 Pulsar 用户都想了解的一趴。 所以在第六期的 TGIP-CN 里,由 Apache BookKeeper PMC 主席郭斯杰亲自为大家带来关于 BookKeeper 的一些基本概念、架构以及相关的读写流程。 接下来我们将从三个部分进行一一描述。 概念 关于 BookKeeper 的概念,核心就两个元素:Ledger 和 Entry 。 Ledger 的 API 很简单,创建一个 ledger,进...

0
0
2020/03/17 17:32

Apache BookKeeper 很复杂吗?你细品

🎙️阅读本文需 8 分钟 作为 Pulsar 最重要的一个组件,Apache BookKeeper 支撑着 Pulsar 的一致性、容错性等特点,成为众多 Pulsar 用户都想了解的一趴。 所以在第六期的 TGIP-CN 里,由 Apache BookKeeper PMC 主席郭斯杰亲自为大家带来关于 BookKeeper 的一些基本概念、架构以及相关的读写流程。 接下来我们将从三个部分进行一一描述。 概念 关于 BookKeeper 的概念,核心就两个元素:Ledger 和 Entry 。 Ledger 的 API 很...

0
1
2018/04/16 11:06

BookKeeper 设计介绍及应用

BookKeeper由yahoo于2009年创建,并在2011年开源。 BookKeeper是一个可靠的日志流记录系统,用于将系统产生的日志(也可以是其他数据)记录在BookKeeper集群上,由BookKeeper这个第三方Storage保证数据存储的可靠和一致性。典型场景是系统写write-ahead log,即先把log写到BookKeeper上,再对log做处理,比如将log写到内存的数据结构中。BookKeeper同时适用于任何单点写入并要求保证高性能和数据不丢失(Strong Durabilty Guaran...

0
2
2020/05/14 18:00

基础向|Apache BookKeeper 简介

🎙️阅读本文需要大约 8 分钟 Apache BookKeeper 是企业级存储系统,旨在保证高持久性、一致性与低延迟。Pulsar 由雅虎研究院(Yahoo! Research)开发,旨在实现 Hadoop 分布式文件系统(HDFS)NameNode 的高可用,在此之前,NameNode 不具备高可用特性,存在单点故障的问题。 自 2011 年起,BookKeeper 开始在 Apache ZooKeeper 下作为子项目孵化,并于 2015 年 1 月作为顶级项目成功问世。在这四年间,Twitter、Yahoo、Sal...

0
0
2020/05/14 18:30

基础向|Apache BookKeeper 简介

🎙️阅读本文需要大约 8 分钟 Apache BookKeeper 是企业级存储系统,旨在保证高持久性、一致性与低延迟。Pulsar 由雅虎研究院(Yahoo! Research)开发,旨在实现 Hadoop 分布式文件系统(HDFS)NameNode 的高可用,在此之前,NameNode 不具备高可用特性,存在单点故障的问题。 自 2011 年起,BookKeeper 开始在 Apache ZooKeeper 下作为子项目孵化,并于 2015 年 1 月作为顶级项目成功问世。在这四年间,Twitter、Yahoo、Sal...

0
0
发表于服务端专区
2020/06/12 17:07

BookKeeper 集群搭建及使用

内容简介:随着 Apache Pulsar 成为 Apache 的顶级开源项目,其存储层的解决方案 Apache BookKeeper 再次受到业界广泛关注。BookKeeper 在 Pulsar 之前也有很多成功的应用,比如使用 BookKeeper 实现了 HDFS NameNode 的 HA 机制(可能大部分公司使用的还是 Quorum Journal Manage 方案)、Twitter 开源的 DistributedLog 系统(可参考这里先对 BookKeeper 的基本概念做一下介绍,下图是 Book 本文转载自:http://matt33.com/2...

0
2
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表于运维专区
2020/05/16 17:42

我安装ApachePulsar之后用pulsar-io-jdbc-2.5.1.nar测试消息导入到MySQL,但是一致消费不成功,检查发现是sink连接器没运行。

我安装ApachePulsar之后用pulsar-io-jdbc-2.5.1.nar测试消息导入到MySQL,但是一致消费不成功,检查发现是sink连接器没运行。 $ bin/pulsar-admin sinks status --tenant public --namespace default --name pulsar-mysql-jdbc-sink 通过命令查询运行状态得到以下内容 bin/pulsar-admin sinks status --tenant public --namespace default --name pulsar-mysql-jdbc-sink { "numInstances" : 1, "numRunning" : 0, "i...

2
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
1 评论
92 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部