BFS-Baidu 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
BFS-Baidu 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
BFS-Baidu 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
授权协议 BSD
开发语言 C/C++ 查看源码 »
操作系统 Linux
软件类型 开源软件
开源组织 百度
地区 国产
投 递 者 bluebore
适用人群 未知
收录时间 2016-09-19

软件简介

The Baidu File System

百度的核心数据库Tera将数据持久化在分布式文件系统上,分布式文件系统的性能、可用性和扩展性对整个上层搜索业务的稳定性与效果有着至关重要的影响。现有的分布式文件系统(如HDFS等)无法满足低延迟、高可用、跨地域扩展等方面的需求,所以我们从百度搜索的业务特点出发,开发了自己的分布式文件系统BFS。

设计目标

  1. 高可靠、高可用
    通过将数据副本进行多机房、多地域冗余,实现单个机房、地域遇到严重灾害的情况下,不丢失数据,不影响整体可用性。
    将元数据服务分布化,通过多副本实现高可用,通过Raft等一致性协议同操作日志,实现多副本的一致性。

  2. 高吞吐、低延迟
    通过高性能的存储引擎,最大化存储介质IO吞吐;通过全局的副本、流量调度,实现热点负载均衡。

  3. 水平扩展
    支持跨地域、多数据中心部署,可水平扩展至10万台机器。

系统架构

系统主要由NameServer、MetaServer、ChunkServer、SDK、bfs_mount和bfs_client等几个模块构成。
其中NameServer是中心控制模块,采用集群化部署,负责目录树的管理;ChunkServer是数据节点负责提供文件块的读写服务;SDK以静态库的形式提供了用户使用的API;bfs_mount通过libfuse,将bfs挂载到本地,作为本地文件系统访问;bfs_client是一个二进制的管理工具。

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论

点击加入讨论🔥(16) 发布并加入讨论🔥
发表了资讯
2017/03/10 13:52

BFS-百度文件系统 v0.6.0 发布

BFS-百度文件系统 V0.6 发布了。BFS 是百度团队从百度搜索的业务特点出发,以高可用、高吞吐和低延迟为目标,开发的新一代分布式文件系统。 0.6.0 更新内容: 支持文件软链接 DK添加C语言接口 SDK添加Python语言接口 HA支持传递Namespace镜像 一些 bug 修复 Release地址:BFS v0.6.0 BFS 主要面向海量实时数据处理,通过 NameServer Cluster 保证目录树的高可用,通过拆分 MetaServer 提高扩展性,并针对慢节点和网络拓扑持续优...

4
32
发表了资讯
2016/12/29 09:44

BFS-百度文件系统 v0.5.0 发布

BFS-百度文件系统 0.5.0 发布了。BFS 是百度团队从百度搜索的业务特点出发,以高可用、高吞吐和低延迟为目标,开发的新一代分布式文件系统。 0.5.0 更新内容: Chunkserver 支持多盘自动负载均衡 Chunkserver 支持异步close文件 添加 dockerfile 一些 bug 修复 Release地址:BFS v0.5.0 BFS 主要面向海量实时数据处理,通过 NameServer Cluster 保证目录树的高可用,通过拆分 MetaServer 提高扩展性,并针对慢节点和网络拓扑持续...

23
58
发表了资讯
2016/12/15 09:11

BFS-百度文件系统 v0.4.1 发布

BFS-百度文件系统 0.4.1 发布了。BFS 是百度团队从百度搜索的业务特点出发,以高可用、高吞吐和低延迟为目标,开发的新一代分布式文件系统。 0.4.1 更新内容: SDK支持扇出写,并代替链式写作为默认写入模式 完善bfs_mount,对随机写的支持更友好 增加更多的单测 一些bug修复 Release地址:BFS v0.4.1 BFS 主要面向海量实时数据处理,通过 NameServer Cluster 保证目录树的高可用,通过拆分 MetaServer 提高扩展性,并针对慢节点...

7
36
发表了资讯
2016/11/23 10:56

BFS-百度文件系统 v0.4.0 发布

BFS-百度文件系统 0.4.0 发布了,BFS 是百度团队从百度搜索的业务特点出发,以高可靠、高可用、高吞吐、低延迟、水平扩展为目标,开发的分布式文件系统。主要由NameServer、MetaServer、ChunkServer、SDK、bfs_mount和bfs_client等几个模块构成。 更新内容: Fix bug of checking lost block Use bind closure and other characters of C++11 Add some unit-test 下载地址: Source code (zip) Source code (tar.gz)...

17
62
发表了资讯
2016/10/26 00:00

BFS-Baidu v0.3.3 发布,百度文件系统

BFS-Baidu v0.3.3 发布了,BFS 是百度团队从百度搜索的业务特点出发,以高可靠、高可用、高吞吐、低延迟、水平扩展为目标,开发的分布式文件系统。主要由NameServer、MetaServer、ChunkServer、SDK、bfs_mount和bfs_client等几个模块构成。 更新内容: Merge pull request #534 from baidu/master Merge master 下载地址: Source code (zip) Source code (tar.gz)...

15
32
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
发表了问答
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
暂无内容
16 评论
229 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部