分布式数据传输中间件 DTLE

MPL
Google Go
跨平台
2018-11-13
爱可生

疫情之下,程序员如何转型?共享数字化转型加速度,就在微软在线技术峰会>>>

DTLE是什么?

DTLE是一个开源的数据传输中间件,其针对的核心场景如下: 

  • 跨数据中心的数据传输:DTLE能在数据中心间进行可靠数据传输,并提供链路压缩以降低传输成本

  • 云间数据同步/迁移:DTLE能提供在公有云间架设数据同步通道,以支持数据容灾等需求

  • 数据汇聚:DTLE能将多个数据源汇聚到同一个数据源,以提供数据分析/数据转储的功能

  • 数据订阅:DTLE能将数据源的变更消息发往Kafka等消息中间件,以支持数据订阅通知/缓存失效通知等需求

  • 跨数据中心的双向复制:DTLE能在数据中心间提供双向复制通道,以配合业务实现数据双写

 

DTLE的设计特点

  • 分布式架构:DTLE在数据传输这个基本场景上,使用了成熟的分布式任务调度架构,可以便捷地在集群中配置大量的数据传输任务,提供断点续传/故障转移等分布式系统的重要特性

  • 灵活的网络适配能力:DTLE可适配复杂的网络架构,提供跨数据中心的数据通道功能和公有云间的数据通道功能

  • 多场景适配:DTLE通过组合多个原子任务,可适配复杂的数据传输场景

的码云指数为
超过 的项目
加载中

评论(0)

暂无评论

暂无资讯

暂无问答

开源MySQL数据传输中间件—DTLE

目前,随着MySQL在各个行业的深入使用,在不同数据系统、不同数据中心、不同业务系统之间进行数据传输、数据订阅、形成数据总线等需求逐渐增多。爱可生推出的DTLE是一个针对MySQL的使用特点、...

2018/10/24 14:59
569
0
MySQL开源数据传输中间件架构设计实践

本文根据洪斌10月27日在「3306π」技术 Meetup - 武汉站现场演讲内容整理而成。 主要内容: 本次分享将介绍目前数据迁移、数据同步、数据消费,多IDC架构中数据复制技术所面临问题及现有的产...

2018/11/07 16:27
302
0
技术分享 | MTS并行增量应用

原创作者: 爱可生开源社区 MySQL 的复制延迟在早期版本一直存在,MySQL 5.6.3 版本后开始支持并行复制,并在 5.7进一步完善可用并行复制功能,官方将该功能称为 enhanced multi-threaded sl...

2019/07/15 10:05
102
0
重磅预告 | 今晚直播:MyCat的坑如何在分布式中间件DBLE上改善

上周,DBLE团队历时3个月准备的开源MySQL分布式中间件DBLE系列公开课发布了,为使社区同学能够更好的评估课程内容、质量以及对DBLE有更清晰深入的认知,我们联合IT168将在第二节课程发布前开...

2019/03/14 10:54
66
0
回顾 | 开源分布式中间件DBLE社区分享活动总结

1月24日,我们发布了为期30天的「如何获取全国 25场 MySQL 主题大会免费入场券」有奖社区分享活动,希望社区同学能够分享测试或生产环境中DBLE使用上的难题,困惑,创新或收获,分享与DBLE相...

2019/02/28 11:28
101
0
[缺陷分析]半同步下多从库复制异常

引 言 本文是由爱可生研发团队出品的「图解MySQL」系列文章,不定期更新,但篇篇精品。 爱可生开源社区持续运营维护的小目标: 每周至少推送一篇高质量技术文章 每月研发团队发布开源组件新版...

2019/03/25 17:08
116
0
基于Xtrabackup及可传输表空间实现多源数据恢复

本文目录一、使用背景 1.可传输表空间基本流程 2.使用前提条件/限制 二、技术要点 三、实施步骤 1.实验环境 2.源端操作 1) 造测试数据并模拟小压力 2) 备份单库数据 3) 备份表结构 4) 批量生...

2019/03/09 19:20
101
0
深度分析 | MGR相同GTID产生不同transaction故障分析

本文是由爱可生运维团队出品的「MySQL专栏」系列文章,内容来自于运维团队一线实战经验,涵盖MySQL各种特性的实践,优化案例,数据库架构,HA,监控等,有扫雷功效。 爱可生开源社区持续运营...

2019/03/23 15:30
152
0
​深度分析 | MyCat与DBLE的对比性能调优

作者简介 蓝寅,开源分布式中间件DBLE项目负责人;持续专注于数据库方面的技术, 始终在一线从事开发;对数据复制,读写分离,分库分表的有深入的理解与实践。 问题起因: 用benchmarksql_fo...

2019/03/09 14:03
418
0
技术分享 | MyCat的坑如何在分布式中间件DBLE上改善(内含视频链接)

作者简介 蓝寅,开源分布式中间件DBLE项目负责人;持续专注于数据库方面的技术, 始终在一线从事开发;对数据复制,读写分离,分库分表的有深入的理解与实践。 3月14日,爱可生开源社区联合I...

2019/03/19 18:14
180
0

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部