MySQL-To-JSON 的 Kafka 生产者 Maxwell

Maxwell MySQL-To-JSON 的 Kafka 生产者

Apache-2.0
Java Ruby SHELL 查看源码»
跨平台
2018-10-31
foooy

Maxwell 是一个读取 MySQL binlogs 并将修改行字段的更新写入 Kafka, Kinesis, RabbitMQ, Google Cloud Pub/Sub 或 Redis (Pub/Sub or LPUSH) 以作为 JSON 的应用程序。

Maxwell 拥有可对底层进行操作的操作栏(operational bar),可生成一致、易于获取的更新流,你可以轻松“固定”流处理系统的一些优点,而无需通过整个代码库来添加(不可靠)检测点。 

  • 常见用例包括 ETL、缓存构建/到期、指标收集、搜索索引和服务间通信。

  • 可在表的初始加载过程中执行 SELECT * from table (bootstrapping)

  • 支持在 master promotion 上的自动位置恢复

  • 为 Kakfa 提供灵活的分区方案 —— 按数据库、表、主键或字段进行

Maxwell 通过充当完整的 mysql 副本来完成所有这些操作,包括用于 create/alter/drop 语句的 SQL 解析器。

示例

  mysql> insert into `test`.`maxwell` set id = 1, daemon = 'Stanislaw Lem';
  maxwell: {
    "database": "test",
    "table": "maxwell",
    "type": "insert",
    "ts": 1449786310,
    "xid": 940752,
    "commit": true,
    "data": { "id":1, "daemon": "Stanislaw Lem" }
  }
 mysql> update test.maxwell set daemon = 'firebus!  firebus!' where id = 1;
  maxwell: {
    "database": "test",
    "table": "maxwell",
    "type": "update",
    "ts": 1449786341,
    "xid": 940786,
    "commit": true,
    "data": {"id":1, "daemon": "Firebus!  Firebus!"},
    "old":  {"daemon": "Stanislaw Lem"}
  }
加载中

评论(0)

暂无评论

暂无资讯

暂无问答

maxwell的使用--日志增量订阅&消费

### 1、maxwell原理和使用场景 发送MySQL binlog到Hadoop(kafka+flume) 当前场景:从mysql实时拉取修改和增量数据 ### 2、maxwell的优缺点 ### 3、maxwell的搭建 ### 4、maxwel的使用步骤 ##...

02/08 10:55
111
0
地铁地图可视化

地铁地图可视化

2016/02/16 15:00
58
1
Maxwell V3新增功能发布

Maxwell Render是一个基于数学运算的渲染引擎,例如发射器、材质和摄像机都是从现实的精确模型数据中得出,Maxwell Render不以取巧的方式来计算场景中每一种元素的灯光,也因此运用Maxwell R...

2013/12/04 15:59
28
0
Maxwell,Kafka, Spark Streaming and Hive

run maxwell ./maxwell --user='maxwell' --password='maxwell' --host=hdp1 --producer=kafka --kafka.bootstrap.servers=hdp3:6667 --kafka_topic=maxwell run kafka /usr/hdp/2.5.0.0-124...

10/10 15:38
6
0
国外论坛BCH关注度暴涨

最近的日子里比特币现金的(BCH)支持者都很开心,BCH最近的行情表现真的很棒,连续暴涨了一周左右,现在价格基本稳定到了1400美元。除了行情越来越好之外,BCH的关注度也在节节攀升。 Redd...

05/02 10:55
15
0
饥荒代码大全

饥荒代码大全 时间: 2015-02-28 21:37 作者: lsgxeva 分分类: 我的笔记>>web>> javascript 摘要: 饥荒代码大全 标签: 饥荒代码大全 提示: 文章均来自网络,版权为原作者所有,如有侵犯权益,请联...

2015/12/13 19:49
67
0
CSS3 (Smashing Magazine) 设计比赛 获奖作品

Smashing Magazine 为了激发 Web 设计者对 CSS3 的兴趣,上月组织了一次 CSS3 设计赛 ,最终有 5 位设计师获奖,获奖作品体现了 CSS3 技巧的原创性与独特性,同时展示了 CSS3 的强大的功能,...

2012/03/09 13:52
55
0
World Maps v3.5 4CD

World Maps v3.5 4CD WRQ.Reflections.Suite.v13 WUFI Transient Heat Moisture Transport v3.3.5.93 Multi X Router-CIM 8.3 (c) NC Micro X Xpression.Primer.v3.0 ZAXWERKS.3D.INVIGORATO...

2009/09/29 17:36
118
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部