SpinalTap 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
SpinalTap 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
SpinalTap 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」 !
SpinalTap 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」「最积极运营项目」 !
SpinalTap 获得 2020 年度 OSC 中国开源项目评选「最积极运营项目」 !
授权协议 Apache-2.0
开发语言 Java Scala 查看源码 »
操作系统 跨平台
软件类型 开源软件
所属分类 大数据其他
开源组织 Airbnb
地区 不详
提 交 者 局长
适用人群 未知
收录时间 2018-09-27

软件简介

SpinalTap —— 通用可靠的变更数据捕获(Change Data Capture: CDC)服务

SpinalTap 是一种可扩展、高性能、可靠、无损的变更数据捕获(CDC)服务,能够检测跨不同数据源类型的低延迟的数据突变,并将它们作为标准化事件传播给下游的消费者。SpinalTap 已经成为 Airbnb 基础架构和衍生数据处理平台中不可或缺一部分,几个关键应用流水线都依赖于此。

变更数据捕获(CDC)是一种设计模式,可以捕获数据更改并通知参与者,以便他们做出相应的反应。这遵循发布—订阅模型,其中数据集的更改是关键。

工作流程概述

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (1)

加载中
哦哦
2019/08/08 04:41
回复
举报
更多评论
暂无内容
发表于软件架构专区
2020/05/31 22:42

聊聊SpinalTap的MysqlEventFilter

## 序 本文主要研究一下SpinalTap的MysqlEventFilter ## MysqlEventFilter SpinalTap/spinaltap-mysql/src/main/java/com/airbnb/spinaltap/mysql/event/filter/MysqlEventFilter.java ``` public abstract class MysqlEventFilter implements Filter { public static Filter create( @NonNull final TableCache tableCache, @NonNull final Set tableNames, @NonNull final AtomicReference state) { return ChainedFilter.bu...

0
0
发表于开发技能专区
2020/05/29 22:53

聊聊SpinalTap的BinlogEventListener

## 序 本文主要研究一下SpinalTap的BinlogEventListener ## BinlogEventListener SpinalTap/spinaltap-mysql/src/main/java/com/airbnb/spinaltap/mysql/binlog_connector/BinaryLogConnectorSource.java ``` @Slf4j public final class BinaryLogConnectorSource extends MysqlSource { //...... private final class BinlogEventListener implements BinaryLogClient.EventListener { public void onEvent(Event event) { Pr...

0
0
发表于开发技能专区
2020/05/30 12:02

聊聊SpinalTap的BinlogEvent

## 序 本文主要研究一下SpinalTap的BinlogEvent ## BinlogEvent SpinalTap/spinaltap-mysql/src/main/java/com/airbnb/spinaltap/mysql/event/BinlogEvent.java ``` @Getter @ToString public abstract class BinlogEvent extends SourceEvent { private final long tableId; private final long serverId; private final BinlogFilePos binlogFilePos; public BinlogEvent(long tableId, long serverId, long timestamp, Binl...

0
0
发表于开发技能专区
2020/06/01 22:07

聊聊SpinalTap的Transaction

## 序 本文主要研究一下SpinalTap的Transaction ## Transaction SpinalTap/spinaltap-model/src/main/java/com/airbnb/spinaltap/mysql/Transaction.java ``` @Value @RequiredArgsConstructor public class Transaction { private final long timestamp; private final long offset; private final BinlogFilePos position; private final String gtid; public Transaction(long timestamp, long offset, BinlogFilePos posit...

0
0
发表于程序人生专区
2020/12/31 21:36

2020年终总结

## 序 不知不觉2020年就要过去了,又到了写总结的时候。往年贴了好多文章的索引,也立了好多flag,今年就不贴索引了,简单做下回顾。 ## 盘点 ### 技术研究 - chronos、artemis研究 - skywalking研究 - canal、mysql-binlog-connector-java、maxwell、debezium、rocketmq-mysql、SpinalTap、puma、Otter、kingbus研究 - nacos-sdk-go、rocketmq-client-go、dubbo-go、claudb研究 - 刷leetcode - java14、java15 - golang、zap、...

0
0
发表于云计算专区
2020/10/26 07:56

印度最大在线食品杂货公司Grofers的数据湖建设之路

1. 起源 作为印度最大的在线杂货公司的数据工程师,我们面临的主要挑战之一是让数据在整个组织中的更易用。但当评估这一目标时,我们意识到数据管道频繁出现错误已经导致业务团队对数据失去信心,结果导致他们永远无法确定哪个数据源是正确的并且可用于分析,因此每个步骤都会咨询数据平台团队,数据平台团队原本应该提供尽可能独立地做出基于数据的正确决策而又不减慢速度的工具。 现代数据平台会从许多不同的、不互连的,不同...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
暂无内容
1 评论
30 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部