MySQL-To-JSON 的 Kafka 生产者 Maxwell

MySQL-To-JSON 的 Kafka 生产者 Maxwell

Apache-2.0
Java Ruby SHELL 查看源码»
跨平台
2018-10-31
foooy

Maxwell 是一个读取 MySQL binlogs 并将修改行字段的更新写入 Kafka, Kinesis, RabbitMQ, Google Cloud Pub/Sub 或 Redis (Pub/Sub or LPUSH) 以作为 JSON 的应用程序。

Maxwell 拥有可对底层进行操作的操作栏(operational bar),可生成一致、易于获取的更新流,你可以轻松“固定”流处理系统的一些优点,而无需通过整个代码库来添加(不可靠)检测点。 

  • 常见用例包括 ETL、缓存构建/到期、指标收集、搜索索引和服务间通信。

  • 可在表的初始加载过程中执行 SELECT * from table (bootstrapping)

  • 支持在 master promotion 上的自动位置恢复

  • 为 Kakfa 提供灵活的分区方案 —— 按数据库、表、主键或字段进行

Maxwell 通过充当完整的 mysql 副本来完成所有这些操作,包括用于 create/alter/drop 语句的 SQL 解析器。

示例

  mysql> insert into `test`.`maxwell` set id = 1, daemon = 'Stanislaw Lem';
  maxwell: {
    "database": "test",
    "table": "maxwell",
    "type": "insert",
    "ts": 1449786310,
    "xid": 940752,
    "commit": true,
    "data": { "id":1, "daemon": "Stanislaw Lem" }
  }
 mysql> update test.maxwell set daemon = 'firebus!  firebus!' where id = 1;
  maxwell: {
    "database": "test",
    "table": "maxwell",
    "type": "update",
    "ts": 1449786341,
    "xid": 940786,
    "commit": true,
    "data": {"id":1, "daemon": "Firebus!  Firebus!"},
    "old":  {"daemon": "Stanislaw Lem"}
  }
的码云指数为
超过 的项目
加载中

评论(0)

暂无评论

暂无资讯

暂无问答

使用Maxwell实时同步mysql数据

接上一篇Mysql主从复制的搭建-基于Docker,本文介绍用Maxwell伪装成mysql从节点,接收binlog的使用。 Maxwell简介 maxwell是由java编写的守护进程,可以实时读取mysql binlog并将行更新以JSO...

01/15 20:57
0
0
maxwell的使用--日志增量订阅&消费

### 1、maxwell原理和使用场景 发送MySQL binlog到Hadoop(kafka+flume) 当前场景:从mysql实时拉取修改和增量数据 ### 2、maxwell的优缺点 ### 3、maxwell的搭建 ### 4、maxwel的使用步骤 ##...

2018/02/08 10:55
146
0
地铁地图可视化

地铁地图可视化

2016/02/16 15:00
63
1
Maxwell V3新增功能发布

Maxwell Render是一个基于数学运算的渲染引擎,例如发射器、材质和摄像机都是从现实的精确模型数据中得出,Maxwell Render不以取巧的方式来计算场景中每一种元素的灯光,也因此运用Maxwell R...

2013/12/04 15:59
33
0
Mysql 流增量写入 Hdfs(一) --从 mysql 到 kafka

一. 概述 在大数据的静态数据处理中,目前普遍采用的是用 Spark + Hdfs (Hive / Hbase) 的技术架构来对数据进行处理。 但有时候有其他的需求,需要从其他不同数据源不间断得采集数据,然后...

2018/12/08 21:16
19
0
Maxwell,Kafka, Spark Streaming and Hive

run maxwell ./maxwell --user='maxwell' --password='maxwell' --host=hdp1 --producer=kafka --kafka.bootstrap.servers=hdp3:6667 --kafka_topic=maxwell run kafka /usr/hdp/2.5.0.0-124...

2018/10/10 15:38
22
0
Fuchsia 操作系统的四层结构

最近很多朋友很关注 Fuchsia OS 操作系统,也有很多朋友关心它的开发,今天我们就来讲讲它的结构,在描述 Fuchsia OS的结构的时候,谷歌使用了“层蛋糕”的比喻,原文是 Layer Cake。Fuchsia...

01/01 21:41
10
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部