分布式日志存储系统 LogDevice

BSD
C/C++
跨平台
Facebook
2018-09-13
王练

LogDevice 是 Facebook 开源的一个可扩展,具备容错性的分布式日志系统。

LogDevice 是专为日志设计的分布式数据存储系统。一般的文件系统会将数据储存为文件,LogDevice 会将数据存储为日志,这些日志可被视为记录式的,追加式的和可修剪的文件。

  • 记录式的(record-oriented)意味着数据作为不可分割的记录写入日志,而不是单个字节。日志实质上是问题的最小单元,用户也一定是读取整行日志。日志的存储原则是按照日志序列号(LSN)来存放,且编号不保证是连续的,可能存在间隙。作者不会事先知道成功写入后将为其日志分配什么 LSN ,这样日志系统就可以优先高写入需求,对写入失败容错。

  • 日志是追加式的(append-only),不支持修改现有记录。

  • 日志在被删除之前预计会存在相对较长一段时间:几天、几月甚至几年。日志的主要空间回收机制是修剪(trimming),根据基于时间或基于空间的保留策略,删除最旧的记录,或响应修剪日志的请求。

LogDevice 从头开始设计,可提供大规模、高可靠性和高效率的多种日志类型。它还具备高度可调性,允许对每个用例进行优化,以便在从耐久性到效率性,一致性到可用性中进行恰当的权衡取舍。

 LogDevice 支持的一些 workload 示例:

  • 预写式日志

  • 在分布式数据库中记录日志

  • 事件日志

  • 流处理

  • ML 训练流程

  • 复制状态机

  • 延期工作项目进度

的码云指数为
超过 的项目
加载中

评论(0)

暂无评论

暂无资讯

暂无问答

pptp pvn 的部署

目的: 通过vpn拨入然后访问内部网络. 配置vpn server机器的系统 centos 6.5 外网(eth1)ip: xxx.xxx.x.xxx 内外(eth0)ip: 10.0.4.234 首先安装需要的软件 sudo yum install -y perl ppp iptab...

2016/08/17 12:51
88
0
hive-site.xml配置文件参数解释.docx

hive-site.xml 由%hive-1.1.0%/conf/hive-default.xml.template文件复制得到。 在hive-site.xml文件中配置Hive默认的数据文件存放目录。须提前创建。这里的配置会覆盖hive-default.xml中的配...

2015/09/09 15:36
4.1K
0
Sybase ASE学习笔记

通过这两天的学习,由于之前完全没有接触过sybase,发现sybase跟oracle或者SQL server都有比较大的差别,一是需要配置运行sybase的环境,二是sybase采用的是Transaction-SQL。三是,其数据库...

2016/02/25 23:24
414
1
sybase系统表、存储过程

一、sybase系统表 ------------------------------------------------- systypes 一行纪录了每一个由系统提供的和用户定义的数据类型 sysusers 一行记录了一行记录了一个数据库的合法用户 sy...

2016/03/19 22:59
161
1
聊聊数据库~1.开篇

目录: 1.1.分类 1.传统数据库(SQL): 2.高并发产物(NoSQL): 3.新时代产物(TSDB): 1.2.概念 1.关系型数据库优劣 2.NoSQL 2.1.ACID事务 2.2.CAP概念 CA CP AP 2.3.数据一致性 2.4.一致性实现...

02/20 13:43
0
0
Sybase数据库小结

一、Sybase数据库简介 1.版本 1984年,Mark B. Hiffman和Robert Epstern创建了Sybase公司,并在1987年推出了Sybase数据库产品。SYBASE主要有三种版本,一是UNIX操作系统下运行的版本, 二是...

2013/06/07 20:32
568
0

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部