分布式日志存储系统 LogDevice

BSD
C/C++
跨平台
Facebook
2018-09-13
王练

LogDevice 是 Facebook 开源的一个可扩展,具备容错性的分布式日志系统。

LogDevice 是专为日志设计的分布式数据存储系统。一般的文件系统会将数据储存为文件,LogDevice 会将数据存储为日志,这些日志可被视为记录式的,追加式的和可修剪的文件。

  • 记录式的(record-oriented)意味着数据作为不可分割的记录写入日志,而不是单个字节。日志实质上是问题的最小单元,用户也一定是读取整行日志。日志的存储原则是按照日志序列号(LSN)来存放,且编号不保证是连续的,可能存在间隙。作者不会事先知道成功写入后将为其日志分配什么 LSN ,这样日志系统就可以优先高写入需求,对写入失败容错。

  • 日志是追加式的(append-only),不支持修改现有记录。

  • 日志在被删除之前预计会存在相对较长一段时间:几天、几月甚至几年。日志的主要空间回收机制是修剪(trimming),根据基于时间或基于空间的保留策略,删除最旧的记录,或响应修剪日志的请求。

LogDevice 从头开始设计,可提供大规模、高可靠性和高效率的多种日志类型。它还具备高度可调性,允许对每个用例进行优化,以便在从耐久性到效率性,一致性到可用性中进行恰当的权衡取舍。

 LogDevice 支持的一些 workload 示例:

  • 预写式日志

  • 在分布式数据库中记录日志

  • 事件日志

  • 流处理

  • ML 训练流程

  • 复制状态机

  • 延期工作项目进度

的码云指数为
超过 的项目
加载中
请先登录后再评论。

暂无资讯

暂无问答

pptp pvn 的部署

目的: 通过vpn拨入然后访问内部网络. 配置vpn server机器的系统 centos 6.5 外网(eth1)ip: xxx.xxx.x.xxx 内外(eth0)ip: 10.0.4.234 首先安装需要的软件 sudo yum install -y perl ppp iptab...

2016/08/17 12:51
444
0
12306 抢票系列之只要搞定RAIL_DEVICEID的来源,从此抢票不再掉线(上)

郑重声明: 本文仅供学习使用,禁止用于非法用途,否则后果自负,如有侵权,烦请告知删除,谢谢合作! 开篇明义 本文针对自主开发的抢票脚本在抢票过程中常常遇到的请求无效等问题,简单分析了 1230...

02/16 14:39
103
0
微软并发Key-Value存储库FASTER介绍

  微软支持并发的Key-Value 存储库有C++与C#两个版本。号称迄今为止最快的并发键值存储。下面是C#版本翻译: FASTER C#可在.NET Framework和.NET Core中运行,并且可以在单线程和并发设置...

2019/04/10 10:10
27
0
12306 抢票系列之只要搞定RAIL_DEVICEID的来源,从此抢票不再掉线(下)

郑重声明: 本文仅供学习使用,禁止用于非法用途,否则后果自负,如有侵权,烦请告知删除,谢谢合作! 模拟伪装 现在已经还原了算法的实现逻辑,下一步就是如何更好地伪造自己,本文提供临时设置的实现...

02/18 10:36
36
0
12306 抢票系列之只要搞定RAIL_DEVICEID的来源,从此抢票不再掉线(上)

郑重声明: 本文仅供学习使用,禁止用于非法用途,否则后果自负,如有侵权,烦请告知删除,谢谢合作! 开篇明义 本文针对自主开发的抢票脚本在抢票过程中常常遇到的请求无效等问题,简单分析了 1230...

2019/04/10 10:10
8
0
hive-site.xml配置文件参数解释.docx

hive-site.xml 由%hive-1.1.0%/conf/hive-default.xml.template文件复制得到。 在hive-site.xml文件中配置Hive默认的数据文件存放目录。须提前创建。这里的配置会覆盖hive-default.xml中的配...

2015/09/09 15:36
1.5W
0
12306 抢票系列之只要搞定RAIL_DEVICEID的来源,从此抢票不再掉线(下)

郑重声明: 本文仅供学习使用,禁止用于非法用途,否则后果自负,如有侵权,烦请告知删除,谢谢合作! 模拟伪装 现在已经还原了算法的实现逻辑,下一步就是如何更好地伪造自己,本文提供临时设置的实现...

2019/04/10 10:10
12
0
12306 抢票系列之只要搞定RAIL_DEVICEID的来源,从此抢票不再掉线(中)

直奔重点 高楼大厦寻关键线索 Js文件中关于网络请求最典型的就是异步回调,将原本简单的操作复杂化,非要你等我,我等他,他还等着他的她. 最终直接结果就是整个请求流程反过来了,假设正常流程:...

02/17 10:34
146
0
Sybase ASE学习笔记

通过这两天的学习,由于之前完全没有接触过sybase,发现sybase跟oracle或者SQL server都有比较大的差别,一是需要配置运行sybase的环境,二是sybase采用的是Transaction-SQL。三是,其数据库...

2016/02/25 23:24
2K
1

没有更多内容

加载失败,请刷新页面

返回顶部
顶部