CloudCanal Data Process 是一款针对 CloudCanal SDK 的开源数据处理器，原生官方 SDK 只有一些说明文档。
本项目是由官方人员发起并与社区共同推进的自定义代码处理器，本工程汇集了 CloudCanal 数据处理插件，以达成数据自定义 transformation 目标。
插件说明
- wide-table : 打宽表数据处理插件，主要包括事实表和单维表组合处理
- data-transform : 数据通用转换插件，比如做操作变幻、额外加字段、清洗回填数据
- data-gather : 数据汇聚插件，将分库分表、垂直拆分、异地数据进行实时汇聚
- data-compare : 数据对比插件，根据源端数据变化进行业务对账
- business-alert : 业务告警插件，根据数据变化趋势做出相应告警
使用说明
- 安装 CloudCanal 并创建数据迁移同步任务
- 将需要使用的 CloudCanalProcessor 实现类(如:WideTableProcessorV2_simple)进行适配性改造
- 子工程下 src/main/resources/META-INF/cloudcanal/plugin.properties 中修改为需要使用的类
- 子工程下
mvn -Dtest -DfailIfNoTests=false -Dmaven.javadoc.skip=true -Dmaven.compile.fork=true clean package打包 - CloudCanal 控制台创建任务(参考案例文章)，并上传子工程 target 下 jar 包(如:wide-table-1.0.0-SNAPSHOT.jar)
CloudCanal
相关资源
- 官方原始文档 https://www.clougence.com/cc-doc/operation/custom_processor
-
官方产品文档 https://www.clougence.com/cc-doc/intro/product_intro
评论