BFS-Baidu 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
BFS-Baidu 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
授权协议: BSD
开发语言: C/C++ 查看源码 »
操作系统: Linux
开发厂商: 百度
收录时间: 2016-09-19
提 交 者: bluebore

The Baidu File System

百度的核心数据库Tera将数据持久化在分布式文件系统上,分布式文件系统的性能、可用性和扩展性对整个上层搜索业务的稳定性与效果有着至关重要的影响。现有的分布式文件系统(如HDFS等)无法满足低延迟、高可用、跨地域扩展等方面的需求,所以我们从百度搜索的业务特点出发,开发了自己的分布式文件系统BFS。

设计目标

  1. 高可靠、高可用
    通过将数据副本进行多机房、多地域冗余,实现单个机房、地域遇到严重灾害的情况下,不丢失数据,不影响整体可用性。
    将元数据服务分布化,通过多副本实现高可用,通过Raft等一致性协议同操作日志,实现多副本的一致性。

  2. 高吞吐、低延迟
    通过高性能的存储引擎,最大化存储介质IO吞吐;通过全局的副本、流量调度,实现热点负载均衡。

  3. 水平扩展
    支持跨地域、多数据中心部署,可水平扩展至10万台机器。

系统架构

系统主要由NameServer、MetaServer、ChunkServer、SDK、bfs_mount和bfs_client等几个模块构成。
其中NameServer是中心控制模块,采用集群化部署,负责目录树的管理;ChunkServer是数据节点负责提供文件块的读写服务;SDK以静态库的形式提供了用户使用的API;bfs_mount通过libfuse,将bfs挂载到本地,作为本地文件系统访问;bfs_client是一个二进制的管理工具。

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

BFS-Baidu 的相关博客

Mount File System

1. file system can be available after mounting. I love u, WuHan. 2. Mount 2.1 mount /dev/sdb2 /mnt/ mount without any...

BerOS file system

The new operating system BerOS has a nice feature. It is possible to use any number of characters '/' as a delimiter ...

Nachos File System

Laboratory 4: Nachos File System 一:Objectives(实验目标) The purpose of this laboratory session is to study the func...

System File Browser

利用 NSFileManager 查看本地所有文件。 Code4App编译测试,测试环境:Xcode 4.5, iOS 6.0。 转载:http://www.adobex.com/io...

【File System】Node.js中文件操作模块File System

File System的缩写是fs,管理文件及文件夹的模块,提供本地文件的读写能力。 var fs = require("fs"); 建议大家是用异步方法,...

Linux File System

1. file system focus on files and data management. 2. create file system usually called formatting. 3. A device witho...

Read-only file system的错误

今天在公司发布新版本时,发布脚本突然报Read-only file system的错误,之前一直还用的好好的…登录到远程服务器上,发现只要...

Read-only file system问题

【环境】android2.2虚拟机、ubuntu系统、 【解决方法】 在cmd窗口一条命令就可以了: adb shell mount -o remount rw / 【其它...

1: Exploring The File System

1: Exploring The File System In this challenge, you'll practice the basics of the command line by working with files ...

Resource is out of sync with the file system:

在eclipse中,启动run on server时报错: Resource is out of sync with the file system: ........ 查阅资料后发现这是文件系...

BFS-Baidu 的相关问答

1
回答

评论 (16)

加载中
打分: 力荐
搭起来了,费老劲了
2016/12/30 20:32
回复
举报
打分: 力荐
2016/12/23 14:48
回复
举报
打分: 力荐
2016/12/23 14:48
回复
举报
打分: 力荐
gaygaygay
2017/01/06 08:42
回复
举报
打分: 力荐
2016/12/22 17:34
回复
举报
bluebore软件作者
打分: 力荐
赞~
2017/01/06 08:44
回复
举报
打分: 力荐
2016/12/22 17:21
回复
举报
分布式文件储存服务都有这几个模块。 #BFS-Baidu#
2016/10/25 07:56
回复
举报
厉害了word度 #BFS-Baidu#
2016/10/25 08:20
回复
举报
百度云一关闭,这玩意也就没什么用了 #BFS-Baidu#
2016/10/25 08:37
回复
举报
更多评论
16 评论
224 收藏
分享
返回顶部
顶部