binary_log 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
binary_log 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
binary_log 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
授权协议 MIT
开发语言 C/C++
操作系统 跨平台
软件类型 开源软件
开源组织
地区 不详
投 递 者 白开水不加糖
适用人群 未知
收录时间 2021-12-09

软件简介

binary_log 是一个用于 C++ 的快速二进制记录器。

Highlights

  • 以紧凑的二进制格式记录消息
  • 快速地
    • 每秒数亿条日志
    • 基本数据类型的平均延迟为2-7 ns
    • 查看基准
  • 提供解包器来压缩日志消息
  • 使用 fmtlib 格式化日志
  • 同步日志记录 - 不是线程安全的
  • Header-only library
    • 此处提供单个头文件版本
  • 需要 C++20

Usage and Performance

以下代码将 10 亿个整数记录到文件中。

#include <binary_log/binary_log.hpp>

int main()
{
  binary_log::binary_log log("log.out");

  for (int i = 0; i < 1E9; ++i)
    BINARY_LOG(log, "Hello logger, msg number: {}", i);
}

在一个现代工作站桌面上,上述代码的执行时间为~3.5秒。

Type Value
Time Taken 3.5 s
Throughput 1.4 Gb/s
Performance 286 million logs/s
Average Latency 3.5 ns
File Size ~5 GB
foo@bar:~/dev/binary_log$ time ./build/examples/billion_integers/billion_integers

real    0m3.561s
user    0m2.422s
sys     0m1.141s

foo@bar:~/dev/binary_log$ ls -lart log.out*
-rw-r--r-- 1 pranav pranav          6 Dec  6 07:52 log.out.runlength
-rw-r--r-- 1 pranav pranav         32 Dec  6 07:52 log.out.index
-rw-r--r-- 1 pranav pranav 4999934337 Dec  6 07:52 log.out

设计目标和决策

  • 实现单线程同步记录器 - 不提供线程安全
    • 如果用户想要多线程行为,用户可以选择并实现自己的排队解决方案
    • 有许多众所周知的无锁队列可用于此目的(moody::concurrentqueueatomic_queue等)——让用户选择他们想要使用的技术。
    • 进入无锁队列的延迟足够大
      • 不关心多线程场景的用户不应该为此付出代价
      • 查看atomic_queue benchmarks,在许多最先进的多生产者、多消费者队列中发送和接收 4 字节整数(在 2 个线程之间,使用 2 个队列)的平均往返延迟约为150-250 纳秒。
  • 避免多次写入静态信息
    • 静态信息示例:格式字符串、格式参数的数量以及每个格式参数的类型
    • 将静态信息存储在“索引”文件中
    • 将动态信息存储在日志文件中(尽可能参考索引文件)
  • 在运行时 hot path 中做尽可能少的工作
    • 没有任何形式的格式
    • 所有格式化都将使用解压缩二进制日志的解包器脱机进行

运作方式

binary_log 将日志拆分为三个文件:

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论

点击引领话题📣
暂无内容
发表了博客
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
发表了问答
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
0 评论
0 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部
返回顶部
顶部