CloudCanal 社区版正式发布 1.0.1,支持数据校验与数据订正并修复若干问题

来源: 投稿
作者: ClouGence
2021-08-16 17:13:00

CloudCanal是一款由ClouGence发行的集结构迁移、数据全量迁移/校验/订正、增量实时同步为一体的数据迁移同步平台。产品包含完整的产品化能力,助力企业打破数据孤岛、完成数据互融互通,从而更好的使用数据。

版本发布

CloudCanal社区版1.0.1正式发布

新特性

• 创建任务支持批量裁剪列
• 支持MySQL->MySQL数据源数据校验、订正任务
• 支持数据校验和数据订正任务的重跑
• 无主键无唯一键表也支持update delete
• 支持用户自定义配置异步任务调度相关参数
• parser新增监控项:增量数据处理与写入队列发布延迟
• 支持oracle->oracle迁移
• 支持pg->pg 无嵌套结构的array类型结构迁移和同步
• 新增约束冲突处理策略,针对pg/tidb为对端时,发生duplicated key时支持insert转update逻辑
• 新增kafka commit log

BUG FIX&优化

• 内核获取列meta信息性能优化
• 优化页面展示数据源顺序,优先展示使用频次高的数据源
• 修复polardb reader读取时cpu load异常偏高的问题
• 修复任务状态展示异常问题
• Oracle->Oracle结构迁移采用新的schema体系
• ES写入优化,单主键表使用主键作为默认_id值
• 修复由于没有获取时间精度、timeformat等ES结构迁移异常
• 优化oracle 物化视图drop index逻辑
• 修复ClickHouse写入null值问题
• 修复mysql->ck无主键表结构迁移问题
• 修复mysql->pg结构迁移中约束中列的映射问题
• 隐藏资源限制相关无效页面
• 修复mysql->tidb同步时schema is null的问题

关联资料

CloudCanal Release信息汇总

CloudCanal安装使用文档(含下载地址)

MySQL到ClickHouse实时同步-CloudCanal实战

展开阅读全文
8 收藏
分享
1 评论
8 收藏
分享
返回顶部
顶部