CloudCanal 免费社区版 是 ClouGence 公司推出的一款全自研、可视化、自动化数据迁移同步工具,具备 结构迁移、数据迁移、数据同步、数据校验、数据订正 等功能,支持 30+ 款流行关系型数据库、实时数仓、消息中间件、缓存数据库和搜索引擎之间数据互通,其中包含国产数据库 OceanBase、PolarDB、TiDB、StarRocks、Doris、RocketMQ 等。
结合开源项目 CloudCanalProcess ,可方便实现如下功能:
CloudCanal 产品功能对标阿里云 DTS、亚马逊 DMS、StreamSets、AirByte,助力开发、DBA 或运维同学快速构建在线数据应用。
支持 Oracle 备库(isDataGuard)
支持 Oracle 源端订阅 OpenLogReplicator
开放 Dameng -> OceanBase 链路 结构迁移、全量迁移、增量同步、数据校验、数据订正、DDL 同步(加列/减列)
支持 通过大模型从文件中提取结构化数据并写入数据库,可用于快速构建微调用的问答训练集
支持 MySQL -> PostgreSQL 的大模型增量嵌入(VectorDB 写入不再限制强类型,支持更多链路)
支持 Ollama、ZhipuAI 等大模型用于向量嵌入与对话应用
支持 RagApi 请求参数 showReasoning=true,开启思维链(Reasoning)展示
支持 RagApi 流式对话,兼容 OpenAI、LocalAI、Ollama、DeepSeek、DashScope、Zhipu AI、HuggingFace
支持 RagApi 配置 MCP 服务器,实现调用外部 MCP 服务链路
支持 RagApi 多知识库自动路由,智能选择对应知识库进行向量检索(任务参数:enabledPromptFunctions)
支持 RagApi 查询压缩与多语义向量检索,提升搜索精准度(任务参数:enabledPromptFunctions)
支持 RagApi 向量数据库上下文召回接口(v1/content/retrieve)
支持 SQL Server、Oracle、 PostgreSQL 视图 全量同步/校验订正/结构迁移
支持 Redis -> Redis 校验订正(新增参数 checkBatchSizeMb、enableFullValueEqualCheck)
支持 数据清洗 新增 fillNullValue 函数用于替换字段中的空值为指定值
支持 数据清洗 新增 limitLength 函数用于切割字段值至指定长度,防止超过目标端约束
支持 多 Console 集群共享单一 Prometheus 服务(新增 Console 参数:prometheus.product.name)
优化 全量同步期间 MQ 对端转换源端 timestamp/datetime 类型数据,默认格式 yyyy-MM-dd HH🇲🇲ss.SSS
优化 数据校验期间 Oracle 对端 BLOB 类型空数据与源端 Empty BLOB 类型相等
优化 任务启动元数据获取(新增参数:useAdvancedMeta)
优化 回滚客户端功能,可从 Sidecar 自动获取回滚路径
优化 Redis 源端全量 Batch 解析全量时间,解决全量同步期间一次性拉取单个 Key 下的全部 Value 值导致的内存问题(新增参数 enableFullBatch、parseFullEventBatchSize)
优化 Redis 校验对端获取数据方式(Redis Pipeline),减少网络 RTT,提升整体校验速率
优化 zeroDateTimeBehavior 默认参数为 exception,使增量行为与全量一致
优化 ElasticSearch 对端 globalTimezone 为空时不对日期类型数据进行时区转换,优先使用不带时区信息的 format
优化 子账号授权逻辑
修复 MySQL -> Kafka 创建相似任务或修改订阅时分区数获取异常的问题
修复 PostgreSQL 源端结构迁移时间精度丢失的问题
修复 PostgreSQL timestamp without time zone/time with time zone/time without time zone 类型同步到对端时区转换问题(新增参数 srcTimezone)
修复 全量期间 MySQL 源端 Second 值为 0 的 Time 类型数据写入到 PostgreSQL/SQL Server/Oracle 对端丢失 Second 值的问题
修复 StarRocks Serveless 存算分离版本获取不到表的问题
修复 StarRocks 2.4 及以下版本获取表信息异常问题
修复 停止任务会发送告警的问题
修复 创建任务源对端没有 MySQL 数据源,仍默认选中 MySQL 并且去调用接口拿 MySQL 数据源的问题
修复 Kafka 在修改账号的 TLS 认证方式缺失配置 TrustStore 密码引发的 NPE 异常
修复 Kafka -> MySQL/PolarDbMySQL/AdbMySQL 增量同步期间,同一张表的一批 json 数据中 columns 顺序不一致导致的写入问题(新增参数 enableMsgDataSort)
修复 Kafka -> MySQL/PolarDbMySQL/AdbMySQL 增量同步期间,同一张表的一批 json 数据中 columns 定义不一致,导致对端写入问题(新增参数 enableDynamicColumnCheck)
修复 Oracle 对端增量同步,无主键表 Update / Delete 语句包含空数据时,执行失败的问题
修复 Oracle 对端增量同步,无主键表 MERGE INTO 语句报错导致 Batch 降级的问题
修复 ClickHouse 对端 Date、DateTime 类型全量同步月份向后偏移的问题
评论删除后,数据将无法恢复
国产数据迁移同步工具 CloudCanal v4.7.1.0 发布,支持 Oracle 备库
CloudCanal 免费社区版 是 ClouGence 公司推出的一款全自研、可视化、自动化数据迁移同步工具,具备 结构迁移、数据迁移、数据同步、数据校验、数据订正 等功能,支持 30+ 款流行关系型数据库、实时数仓、消息中间件、缓存数据库和搜索引擎之间数据互通,其中包含国产数据库 OceanBase、PolarDB、TiDB、StarRocks、Doris、RocketMQ 等。
结合开源项目 CloudCanalProcess ,可方便实现如下功能:
CloudCanal 产品功能对标阿里云 DTS、亚马逊 DMS、StreamSets、AirByte,助力开发、DBA 或运维同学快速构建在线数据应用。
Release-Note
亮点
支持 Oracle 备库(isDataGuard)
支持 Oracle 源端订阅 OpenLogReplicator
新链路
开放 Dameng -> OceanBase 链路 结构迁移、全量迁移、增量同步、数据校验、数据订正、DDL 同步(加列/减列)
新特性
支持 通过大模型从文件中提取结构化数据并写入数据库,可用于快速构建微调用的问答训练集
支持 MySQL -> PostgreSQL 的大模型增量嵌入(VectorDB 写入不再限制强类型,支持更多链路)
支持 Ollama、ZhipuAI 等大模型用于向量嵌入与对话应用
支持 RagApi 请求参数 showReasoning=true,开启思维链(Reasoning)展示
支持 RagApi 流式对话,兼容 OpenAI、LocalAI、Ollama、DeepSeek、DashScope、Zhipu AI、HuggingFace
支持 RagApi 配置 MCP 服务器,实现调用外部 MCP 服务链路
支持 RagApi 多知识库自动路由,智能选择对应知识库进行向量检索(任务参数:enabledPromptFunctions)
支持 RagApi 查询压缩与多语义向量检索,提升搜索精准度(任务参数:enabledPromptFunctions)
支持 RagApi 向量数据库上下文召回接口(v1/content/retrieve)
支持 SQL Server、Oracle、 PostgreSQL 视图 全量同步/校验订正/结构迁移
支持 Redis -> Redis 校验订正(新增参数 checkBatchSizeMb、enableFullValueEqualCheck)
支持 数据清洗 新增 fillNullValue 函数用于替换字段中的空值为指定值
支持 数据清洗 新增 limitLength 函数用于切割字段值至指定长度,防止超过目标端约束
支持 多 Console 集群共享单一 Prometheus 服务(新增 Console 参数:prometheus.product.name)
优化
优化 全量同步期间 MQ 对端转换源端 timestamp/datetime 类型数据,默认格式 yyyy-MM-dd HH🇲🇲ss.SSS
优化 数据校验期间 Oracle 对端 BLOB 类型空数据与源端 Empty BLOB 类型相等
优化 任务启动元数据获取(新增参数:useAdvancedMeta)
优化 回滚客户端功能,可从 Sidecar 自动获取回滚路径
优化 Redis 源端全量 Batch 解析全量时间,解决全量同步期间一次性拉取单个 Key 下的全部 Value 值导致的内存问题(新增参数 enableFullBatch、parseFullEventBatchSize)
优化 Redis 校验对端获取数据方式(Redis Pipeline),减少网络 RTT,提升整体校验速率
优化 zeroDateTimeBehavior 默认参数为 exception,使增量行为与全量一致
优化 ElasticSearch 对端 globalTimezone 为空时不对日期类型数据进行时区转换,优先使用不带时区信息的 format
优化 子账号授权逻辑
问题修复
修复 MySQL -> Kafka 创建相似任务或修改订阅时分区数获取异常的问题
修复 PostgreSQL 源端结构迁移时间精度丢失的问题
修复 PostgreSQL timestamp without time zone/time with time zone/time without time zone 类型同步到对端时区转换问题(新增参数 srcTimezone)
修复 全量期间 MySQL 源端 Second 值为 0 的 Time 类型数据写入到 PostgreSQL/SQL Server/Oracle 对端丢失 Second 值的问题
修复 StarRocks Serveless 存算分离版本获取不到表的问题
修复 StarRocks 2.4 及以下版本获取表信息异常问题
修复 停止任务会发送告警的问题
修复 创建任务源对端没有 MySQL 数据源,仍默认选中 MySQL 并且去调用接口拿 MySQL 数据源的问题
修复 Kafka 在修改账号的 TLS 认证方式缺失配置 TrustStore 密码引发的 NPE 异常
修复 Kafka -> MySQL/PolarDbMySQL/AdbMySQL 增量同步期间,同一张表的一批 json 数据中 columns 顺序不一致导致的写入问题(新增参数 enableMsgDataSort)
修复 Kafka -> MySQL/PolarDbMySQL/AdbMySQL 增量同步期间,同一张表的一批 json 数据中 columns 定义不一致,导致对端写入问题(新增参数 enableDynamicColumnCheck)
修复 Oracle 对端增量同步,无主键表 Update / Delete 语句包含空数据时,执行失败的问题
修复 Oracle 对端增量同步,无主键表 MERGE INTO 语句报错导致 Batch 降级的问题
修复 ClickHouse 对端 Date、DateTime 类型全量同步月份向后偏移的问题
免费下载和使用