dbswitch 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
dbswitch 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
dbswitch 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」 !
dbswitch 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」「最积极运营项目」 !
dbswitch 获得 2020 年度 OSC 中国开源项目评选「最积极运营项目」 !
授权协议 BSD
开发语言 Java 查看源码 »
操作系统 跨平台
软件类型 开源软件
开源组织
地区 国产
投 递 者 OSCHINA编辑部
适用人群 未知
收录时间 2021-02-07

软件简介

dbswitch是一个异构数据库迁移工具,提供源端数据库向目的端数据的迁移功能,包括全量和增量方式。

迁移包括:

  • 结构迁移

字段类型、主键信息、建表语句等的转换,并生成建表SQL语句。

  • 数据迁移

基于JDBC的分批次读取源端数据库数据,并基于insert/copy方式将数据分批次写入目的数据库。

支持有主键表的 增量变更同步 (变化数据计算Change Data Calculate)功能(千万级以上数据量慎用)

功能设计

function

详细功能

  • 源端oracle/SqlServer/MySQL/MariaDB/PostgreSQL/DB2向目的端为Greenplum/PostgreSQL的迁移(支持绝大多数常规类型字段)

  • 源端oracle/SqlServer/MySQL/MariaDB/PostgreSQL/DB2向目的端为Oralce的迁移(支持绝大多数常规类型字段)

  • 源端oracle/SqlServer/MySQL/MariaDB/PostgreSQL/DB2向目的端为SQLServer的迁移(字段类型兼容测试中...)

  • 源端oracle/SqlServer/MySQL/MariaDB/PostgreSQL/DB2向目的端为MySQL/MariaDB的迁移(字段类型兼容测试中...)

  • 源端oracle/SqlServer/MySQL/MariaDB/PostgreSQL/DB2向目的端为DB2的迁移(字段类型兼容测试中...)

结构设计

  • 模块结构设计

    structure

  • 模块结构功能

└── dbswitch
    ├── dbswitch-common    // dbswitch通用定义模块
    ├── dbswitch-pgwriter  // PostgreSQL的二进制写入封装模块
    ├── dbswitch-dbwriter  // 数据库的通用批量Insert封装模块
    ├── dbswitch-core      // 数据库元数据抽取与建表结构语句转换模块
    ├── dbswitch-sql       // 基于calcite的DML语句转换与DDL拼接模块
    ├── dbswitch-dbcommon  // 数据库操作通用封装模块
    ├── dbswitch-dbchange  // 基于全量比对计算变更(变化量)数据模块
    ├── dbswitch-dbsync    // 将dbchange模块计算的变更数据同步入库模块
    ├── dbswitch-data      // 工具入口模块,读取配置文件中的参数执行异构迁移同步
    ├── dbswitch-webapi    // dbswitch-core与dbswitch-sql的RESTful接口模块
    ├── package-tool       // 基于maven-assembly-plugin插件的项目打包模块
展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (0)

加载中
更多评论
发表于数据库专区
02/07 16:59

dbswitch v1.5.2 已经发布

dbswitch v1.5.2 已经发布。dbswitch是一个异构数据库迁移工具,提供源端数据库向目的端数据的迁移功能,包括全量和增量方式。 迁移包括: 结构迁移 字段类型、主键信息、建表语句等的转换,并生成建表SQL语句。 数据迁移 基于JDBC的分批次读取源端数据库数据,并基于insert/copy方式将数据分批次写入目的数据库。 支持有主键表的 增量变更同步 (变化数据计算Change Data Calculate)功能(千万级以上数据量慎用) 此版本更新内容...

0
11
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
2020/01/22 16:04

开源异构数据库同步工具收集

SymmetricDS 太麻烦,而且是每张表都要配置触发器,性能影响太大了。 其他类型数据库到GP: 转自:https://blog.csdn.net/inrgihc/article/details/103739629 一、背景 开源MPP数据库Greenplum是一种基于PostgreSQL的分布式数据库,其采用shared-nothing架构,其架构专门用于管理大规模分析数据仓库,Greenplum主要定位在OLAP领域,利用Greenplum MPP数据库做大数据计算或分析平台非常适合,典型的就是数据仓库系统。 虽然Green...

0
0
发表于软件架构专区
2020/05/28 10:57

异构数据库同步工具

工具 速度 数据方向 开源 GUI 支持表构建 二进制数据 支持增量 批量操作 kettle 多种(大数据和RDBMS)->多种 √ √ √ DataX 单机2W/s 不支持集群 多种->多种 √ × 不支持 不支持 DataHub dbsync 2000/s RDBMS √ 支持 支持 Sqoop √ 大数据->RDBMS, RDBMS->大数据 √ × Streamsets √ 多种->多种 √ √ Informatica √ 多种->多种 × √ Talend √ 多种->多种 √ √ DataPipeline √ 多种->多种 × √ datastage √ 多种-...

0
0
2020/06/29 18:49

在数据规模重压、多维度查询需求之下,支付平台的迁移之旅

丰巢第一次在生产环境实际使用TiDB,是在2018年,其场景是每天产生一亿条以上数据的推送平台,当时我们还发了一篇文章,被PingCAP官方收录:TiDB at 丰巢:尝鲜分布式数据库。这次,因为实际的项目需要,我们选择了QPS和数据一致性要求更高的支付平台,作为第二个迁移到TiDB上的项目。由于丰巢的所有支付,都会通过该平台产生,所以其稳定性和性能,都是重中之重了,而这次的迁移之旅,也就特别的漫长和曲折。 1. 支付平台现状及...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
暂无内容
0 评论
30 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部