CloudCanal 免费社区版 是 ClouGence 公司推出的一款全自研、可视化、自动化数据迁移同步工具，具备 结构迁移、数据迁移、数据同步、数据校验、数据订正 等功能，支持 30+ 款流行关系型数据库、实时数仓、消息中间件、缓存数据库和搜索引擎之间数据互通，其中包含国产数据库 OceanBase、PolarDB、TiDB、StarRocks、Doris、RocketMQ 等。
结合开源项目 CloudCanalProcess ，可方便实现如下功能：
- wide-table : 打宽表数据处理插件，主要包括事实表和单维表组合处理
- data-transform : 数据通用转换插件，比如做操作变幻、额外加字段、清洗回填数据
- data-gather : 数据汇聚插件，将分库分表、垂直拆分、异地数据进行实时汇聚
- data-compare : 数据对比插件，根据源端数据变化进行业务对账
- business-alert : 业务告警插件，根据数据变化趋势做出相应告警
CloudCanal 产品功能对标阿里云 DTS、亚马逊 DMS、StreamSets、AirByte，助力开发、DBA 或运维同学快速构建在线数据应用。
Release-Note
新链路
-
开放 MySQL -> ObForOracle 结构迁移、全量迁移、增量同步、数据校验与订正、DDL同步（加列/减列/修改列/清空表）
-
开放 ObForOracle -> OceanBase 结构迁移、全量迁移、增量同步、数据校验与订正、DDL同步（加列/减列/清空表）
-
开放 OceanBase -> ClickHouse 结构迁移、全量迁移、增量同步、数据校验
-
开放 OceanBase -> MongoDB 全量迁移、增量同步、数据校验
-
开放 MongoDB -> StarRocks 全量迁移、增量同步、数据校验
-
开放 AWS DocumentDB，支持链路等同 MongoDB 且可和 MongoDB 互相同步
新特性
-
支持 ClickHouse ReplaceMergeTree _sign 、_version 字段，所有操作变为 INSERT 且有明确版本信息，增强同步性能
-
支持 Redis <-> Redis EvalSha、PsetEx、Script Load（单机不支持）命令
-
支持 TiDB 源端同步分区表
-
支持 TiDB -> TiDB 分区表结构迁移
-
支持 ElasticSearch -> ElasticSearch 修改订阅，查看库表映射，创建任务或修改订阅表映射和列映射功能
-
支持 PostgreSQL 源端设置心跳（新增参数：dbHeartbeatEnable、dbHeartbeatOp、dbHeartbeatIntervalSec）
-
支持 源端 OceanBase、StarRocks、SQLServer、Db2 设置目标主键 ，方便数据汇聚
-
支持 操作审计记录用户登录成功/失败的操作
-
支持 操作审计多条件查询
-
支持 操作审计展示 uid，以及双击自动按 uid 查询
-
支持 子账号管理界面展示 uid 并支持复制，以及根据 uid 查询子账号
优化
-
优化 PostgreSQL/Oracle/MySQL/MariaDB 到 ClickHouse 结构迁移采用新架构，更加简单统一
-
优化 ClickHouse 驱动依赖，去除 ru.yandex.clickhouse 包内依赖（官方标记将去除），并升级驱动版本为 0.4
-
优化 StarRocks/Doris/SelectDB 获取表唯一键（或主键）字段报错异常信息打印
-
优化 ClickHouse 类型读取逻辑，更好适配复合、复杂类型
-
优化 MongoDB 类型读写逻辑，更好适配复合、复杂类型
-
优化 MySQL 源端 Change Column DDL 语句同步
问题修复
-
修复 TiDB 源端增量同步 TableID 变化导致的同步延迟问题
-
修复 TiDB 源端任务异常重启后，位点异常上报导致丢数据的问题
-
修复 TiDB GPRC 连接创建大量线程导致的 OOM 问题
-
修复 MongoDB 源端因二次校验逻辑问题导致数据校验的错误
-
修复 MongoDB/DocumentDB -> MySQL Timestamp 类型格式不对的问题
-
修复 MongoDB/DocumentDB 对端写入时间类型时区转换的问题
-
修复 OceanBase 源端增量遇致命异常无法退出的问题
-
修复 OceanBase 源端数据校验初始化位点信息失败的问题（NPE）
-
修复 RDS for MySQL 用户非必要 Schema 权限不足导致创建任务失败的问题
-
修复 SQLServer 源端无主键情况下，获取字段元数据异常的问题
-
修复 源端一个事务中有多条变更时 RocketMQ/RabbitMQ/Kafka 对端数据写入 PK 为空的问题（DSG & OGG & Envelope 消息格式）
-
修复 MySQL 源端初始化时区配置错误的问题
-
修复 任务详情展示的创建人均为主账号的问题
