用于收集 TiDB 的 Binlog TiDB Binlog

Apache-2.0
跨平台
2019-05-06
局长
TiDB Binlog 正在参加 2019 年度最受欢迎开源中国软件评选,请投票支持!
TiDB Binlog 在 2019 年度最受欢迎开源中国软件评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票赢奖品
已投票

TiDB Binlog 组件用于收集 TiDB 的 binlog,并准实时同步给下游,如:TiDB/MySQL等。该组件在功能上类似于 MySQL 的主从复制,会收集各个 TiDB 实例产生的 binlog,并按事务提交的时间排序,全局有序的将数据同步至下游。利用 TiDB Binlog 可以实现数据准实时同步到其他数据库,以及 TiDB 数据准实时的备份与恢复。

TiDB Binlog 作为 TiDB 的核心组件之一,已经在上百家用户的生产环境中长时间稳定运行。

TiDB Binlog 适用的功能场景

  • 准实时数据同步:同步 TiDB 数据到其他数据库或消息队列(如 TiDB/MySQL/MariaDB/Kafka)。
  • 准实时备份和恢复:增量备份 TiDB 集群数据到外部系统,利用备份的数据在系统故障或者其他场景时可将数据恢复到任意时间点。

TiDB Binlog 架构

TiDB Binlog 核心特性

  • 支持类似 MySQL ROW 复制模式。
  • 准实时并按事务提交的时间顺序将数据同步至下游。
  • 分布式架构设计,支持水平弹性扩容和服务高可用。
  • 数据高可靠,系统实时将数据持久化到本地磁盘。
  • 支持多种输出方式,如下:
    • 文件:系统准实时将 binlog 写入文件系统作为增量备份,利用此增量备份文件可将数据恢复到任意时间点。
    • 消息队列:按照 binlog slave protocol 输出到 Kafka。
    • 下游目标数据库:TiDB/MySQL/MariaDB。

TiDB Binlog 代码及文档资源

的码云指数为
超过 的项目
加载中

评论(0)

暂无评论

PingCAP 宣布 TiDB Binlog 组件正式开源

TiDB Binlog 组件用于收集 TiDB 的 binlog,并准实时同步给下游,如:TiDB/MySQL等。该组件在功能上类似于 MySQL 的主从复制,会收集各个 TiDB 实例产生的 binlog,并按事务提交的时间排序,...

05/06 18:42

没有更多内容

加载失败,请刷新页面

没有更多内容

暂无问答

TiDB Binlog 源码阅读系列文章(一)序

作者:黄佳豪 TiDB Binlog 组件用于收集 TiDB 的 binlog,并准实时同步给下游,如 TiDB、MySQL 等。该组件在功能上类似于 MySQL 的主从复制,会收集各个 TiDB 实例产生的 binlog,并按事务提...

06/18 10:06
51
0
TiDB Binlog 源码阅读系列文章(二)初识 TiDB Binlog 源码

作者:satoru TiDB Binlog 架构简介 TiDB Binlog 主要由 Pump 和 Drainer 两部分组成,其中 Pump 负责存储 TiDB 产生的 binlog 并向 Drainer 提供按时间戳查询和读取 binlog 的服务,Drainer...

07/05 10:53
38
0
TiDB Binlog 源码阅读系列文章(三)Pump client 介绍

作者:黄佳豪 在 上篇文章 中,我们介绍了 Pump 的作用是存储 TiDB 产生的 binlog。本篇将介绍 Pump client,希望大家了解 TiDB 把 binlog 写到 Pump,以及输出数据的过程。 gRPC API Pump ...

08/07 11:11
9
0
DM 源码阅读系列文章(七)定制化数据同步功能的实现

作者:王相 本文为 DM 源码阅读系列文章的第七篇,在 上篇文章 中我们介绍了 relay log 的实现,主要包括 relay log 目录结构定义、relay log 数据的处理流程、主从切换支持、relay log 的读...

06/06 10:45
33
0
TiDB Binlog 源码阅读系列文章(四)Pump server 介绍

作者: satoru 在 上篇文章 中,我们介绍了 TiDB 如何通过 Pump client 将 binlog 发往 Pump,本文将继续介绍 Pump server 的实现,对应的源码主要集中在 TiDB Binlog 仓库的 pump/server.go...

08/23 10:40
20
0
TiDB 源码阅读系列文章(二十四)TiDB Binlog 源码解析

作者:姚维 TiDB Binlog Overview 这篇文章不是讲 TiDB Binlog 组件的源码,而是讲 TiDB 在执行 DML/DDL 语句过程中,如何将 Binlog 数据 发送给 TiDB Binlog 集群的 Pump 组件。目前 TiDB 在...

01/16 13:30
50
0
TiDB-Lightning Toolset & TiDB-DM 正式开源,前排开“坑”、PR 走起!

在刚刚结束的 TiDB DevCon 2019 上,我们宣布将大家期待已久的 TiDB-Ligthning Toolset 和 TiDB-DM 开源(惊不惊喜、意不意外?!),感兴趣的小伙伴们赶紧前排关注一波,开“坑(issues)”...

01/21 18:40
186
0
TiDB Binlog 源码阅读系列文章(五)Pump Storage 介绍(上)

作者:赵一霖 在 上篇文章 中,我们主要介绍了 Pump Server 的上线过程、gRPC API 实现、以及下线过程和相关辅助机制,其中反复提到了 Pump Storage 这个实体。本文就将介绍 Pump Storage 的...

10/09 13:58
38
0
TiDB 在摩拜单车的深度实践及应用

作者介绍:吕磊,摩拜单车高级 DBA。 一、业务场景 摩拜单车 2017 年开始将 TiDB 尝试应用到实际业务当中,根据业务的不断发展,TiDB 版本快速迭代,我们将 TiDB 在摩拜单车的使用场景逐渐分...

02/19 11:14
93
0
TiDB Ecosystem Tools 原理解读(一):TiDB-Binlog 架构演进与实现原理

作者:王相 简介 TiDB-Binlog 组件用于收集 TiDB 的 binlog,并提供实时备份和同步功能。该组件在功能上类似于 MySQL 的主从复制,MySQL 的主从复制依赖于记录的 binlog 文件,TiDB-Binlog 组...

2018/12/10 10:36
35
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部