国产数据迁移同步工具 CloudCanal v4.2.0.0 发布

来源: 投稿
作者: ClouGence
2024-07-04 09:50:00

CloudCanal 免费社区版  ClouGence 公司推出的一款全自研可视化自动化数据迁移同步工具,具备 结构迁移数据迁移数据同步数据校验数据订正 等功能,支持 30+ 款流行关系型数据库、实时数仓、消息中间件、缓存数据库和搜索引擎之间数据互通,其中包含国产数据库 OceanBase,PolarDB, TiDBStarRocks, Doris, RocketMQ  等。

结合开源项目 CloudCanalProcess ,可方便实现如下功能

  • wide-table : 打宽表数据处理插件,主要包括事实表和单维表组合处理
  • data-transform : 数据通用转换插件,比如做操作变幻、额外加字段、清洗回填数据
  • data-gather : 数据汇聚插件,将分库分表、垂直拆分、异地数据进行实时汇聚
  • data-compare : 数据对比插件,根据源端数据变化进行业务对账
  • business-alert : 业务告警插件,根据数据变化趋势做出相应告警

CloudCanal 产品功能对标阿里云 DTS,  亚马逊 DMS,  StreamSets, AirByte,助力开发、DBA 或运维同学快速构建在线数据应用。

Release-Note

新链路

  • 开放 Kafka -> SelectDB / Doris / AutoMQ 增量同步
  • 开放 AutoMQ -> AutoMQ / Kafka 增量同步

新特性

  • 支持 Oracle 目标端新写入模式(新增参数:enableNewApplyStrategy、writeStrategy)
  • 支持 Redis Db 映射 (新增参数:enableDbMapping)
  • 支持 Redis <-> Redis 双向同步 SRem、SetNx、SetEx、Append、GetSet、MSet、LInsert 命令
  • 支持 二次差异校验数据,大幅度减少因为数据延迟造成的校验误差
  • 支持 校验、订正任务自定义代码
  • 支持 主账号重置子账号登录密码能力
  • 支持 主账号设置禁止删除子账号能力(偏好设置 forbidDelSubAccount)
  • 支持 主账号设置密码强度表达式(正则,偏好设置 subAccountPwdVerifyExpr 和 subAccountPwdVerifyTips),未设置则采用系统默认验证表达式
  • 支持 主账号设置子账号密码强制过期能力 (偏好设置 subAccountPwdExpireDays)
  • 支持 结构迁移 StarRocks 分区设置, 包括 RANGE 分区、表达式分区、LIST 分区
  • 支持 TiDB -> TiDB 结构迁移 AUTO_RANDOM 和 SHARD_ROW_ID_BITS 属性
  • 支持 SelectDB、Doris 新增数据源时添加 useSSL 选项

优化

  • 优化 Redis 源端对于不支持的指令集抛出异常
  • 优化 Redis 源端全量阶段对于超大 Key 抛出异常(新增参数:keySizeMb)
  • 优化 Kafka 源端 Debezium Envelop Json 消息格式,把 source 字段作为非必要项
  • 优化 MySQL 源端修改订阅创建子任务时,会自动复制主任务的 srcTimeZone connectTimeZone 参数
  • 优化 Oracle 源端的结构迁移,如对端数据源支持 NUMBER(不带长度精度)类型(如 Oracle , PostgreSQL),则保持一致
  • 优化 Doris / SelectDB 对端连续 DDL 报错问题,会通过查询目标端数据库元数据或识别错误信息进行等待或重试
  • 优化 私有部署登录,私有部署禁止使用短信验证码登录
  • 优化 私有部署重置密码操作逻辑,去掉未登录情况重置密码(忘记密码),登录状态重置密码采用老密码验证方式
  • 优化 私有部署更新手机、邮箱操作逻辑,去掉短信验证码验证逻辑,采用当前用户密码验证方式
  • 优化 Kubernetes 部署模式下机器管理页面的展示
  • 优化 Kubernetes 部署脚本,修改相关镜像为阿里云镜像源
  • 优化 Docker 部署支持脚本,修改 Docker 官网 Repo 改成阿里云镜像源
  • 优化 审计日志功能(去除无用操作审计,保留任务、数据源操作审计),支持在线查看审计详细日志
  • 优化 创建任务和修改订阅数据处理步骤筛选表的逻辑,支持批量精确筛选
  • 优化 创建任务元数据获取,过滤 SQLServer 源端 ReportServer$xxxx,ReportServer$xxxxTempDB 等系统库,防止选择 Schema 页面出现权限不足问题
  • 优化 子账号维护逻辑,禁止有权限管理子账号的子账号删除自己
  • 优化 偏好设置,支持开关类型配置操作

问题修复

  • 修复 Oracle -> PostgreSQL NUMBER 类型(不带长度精度)主键表数据校验失败问题
  • 修复 Oracle NCHAR / CHAR 主键且值为空字符串时写入报错的问题
  • 修复 Oracle 目标端主键为 NCHAR / CHAR 时更新性能低的问题
  • 修复 Oracle 目标端 BLOB / CLOB / RAW 类型写入报错的问题
  • 修复 Oracle 源端 ADD PK / UK 字段大小写转换的问题
  • 修复 Oracle 源端设置目标主键无效的问题
  • 修复 MySQL -> Redis 修改订阅报错的问题
  • 修复 MySQL 双向同步由于心跳未更新导致的任务延迟问题
  • 修复 MySQL 重置文件位点错误更新时间戳位点的问题
  • 修复 MySQL 源端 lower_case_table_names = 2 时,增量同步白名单过滤错误的问题
  • 修复 Hana 源端增量任务延迟指标显示异常的问题
  • 修复 Hana 源端对超大事务无法读取的问题
  • 修复 Kafka -> Kafka 结构迁移源端信息获取错误导致的报错问题
  • 修复 Tunnel / MQ 目标端序列化 byte[] 错误的问题
  • 修复 SQL Server -> SQL Server 结构迁移 NVARCHAR 类型长度 MAX 变成 1 问题
  • 修复 创建任务上传自定义代码过大导致报错的问题
  • 修复 子账号批量授权任务时,任务包含子任务的情况下报错的问题
  • 修复 删除子任务,没有删除数据源使用记录的问题
  • 修复 删除子账号后,对应数据同步任务创建人为空从而报错的问题,默认更新成任务拥有者
  • 修复 页面组件国际化、面包屑导航不准的问题

免费下载和使用

展开阅读全文
点击加入讨论🔥(2) 发布并加入讨论🔥
2 评论
16 收藏
分享
返回顶部
顶部