DataX Web 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
DataX Web 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
授权协议 MIT
开发语言 Java JavaScript
操作系统 Windows
软件类型 开源软件
所属分类 大数据数据处理
开发厂商
地区 国产
提 交 者 微野
适用人群 未知
收录时间 2020-06-29

软件简介

DataX Web是在DataX之上开发的分布式数据同步工具,提供简单易用的操作界面,降低用户使用DataX的学习成本,缩短任务配置时间,避免配置过程中出错。用户可通过页面选择数据源即可创建数据同步任务,RDBMS数据源可批量创建数据同步任务,支持实时查看数据同步进度及日志并提供终止同步功能,集成并二次开发xxl-job可根据时间、自增主键增量同步数据。

任务"执行器"支持集群部署,支持执行器多节点路由策略选择,支持超时控制、失败重试、失败告警、任务依赖,执行器CPU.内存.负载的监控等等。后续还将提供更多的数据源支持、数据转换UDF、表结构同步、数据同步血缘等更为复杂的业务场景。

Architecture diagram:

项目部分截图

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (9)

加载中
立意很好
08/25 15:19
回复
举报
看着安装文档,习惯docker一键安装的我头皮发麻
07/22 16:58
回复
举报
这个不错,请问大家稳定不
07/06 09:29
回复
举报
目前bug太多了
07/06 15:21
回复
举报
微野软件作者
有bug欢迎提issue啊,我们会努力解决的
07/07 17:54
回复
举报
不错,公司之前也做了类似界面,但增量同步还没时间做
07/01 15:52
回复
举报
微野软件作者
07/01 15:54
回复
举报
mysql8 支持吗?
07/02 21:00
回复
举报
微野软件作者
支持的
07/03 08:14
回复
举报
更多评论
发表于AI & 大数据专区
06/29 14:26

DataX Web 2.1.2 发布

DataX Web是在DataX之上开发的分布式数据同步工具,提供简单易用的操作界面,降低用户使用DataX的学习成本,缩短任务配置时间,避免配置过程中出错。用户可通过页面选择数据源即可创建数据同步任务,RDBMS数据源可批量创建数据同步任务,支持实时查看数据同步进度及日志并提供终止同步功能,集成并二次开发xxl-job可根据...

15
74
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
2019/07/15 00:14

DataX

1.什么是DataX DataX 是阿里巴巴开源的一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 https://github.com/kris-2018/DataX 2. DataX的设计 为了解决异构数据源同步问题,DataX将复杂的网状的同步链路变成了星型...

1
1
发表了博客
2019/03/13 13:48

DataX简介

DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。 设计理念: 为了解决异构数据源同步问题,DataX将复杂的网状的同步链路变成了星型数据链路,DataX...

0
0
发表了博客
2019/05/21 17:32

dataX的安装

一、前置条件   Linux   JDK(1.8以上,推荐1.8)   Python(推荐Python2.6.X)   Apache Maven 3.x (Compile DataX)   如何查看各条件是否满足?     linux查看版本: cat /etc/issue cat /etc/redhat-release     JDK查看版本:(通常需要自己安装,安装参考linux随笔:https://www.cnblogs.com/jiangbe...

0
0
发表于AI & 大数据专区
2019/02/14 12:18

dataX概述

目录 前言 一、阿里云开源离线同步工具DataX3.0介绍 二、DataX架构及原理 三、DataX程序流程介绍 四、DataX 如何使用 五、DataX Java使用 六、DataX部分核心源码解析 前言 最近接到需求是,需要一个用来解决异源数...

0
2
发表了博客
2018/07/02 13:45

DataX介绍

一. DataX3.0概览 DataX 是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 设计理念 为了解决异构数据源同步问题,DataX将复杂的网状的同步链路变成了星型数据链路,DataX作为中间传输载体负责连接各种数据源。当...

0
0
发表了博客
07/22 09:50

DataX的使用

简介 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、HDFS、Hive、OceanBase、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。DataX采用了框架 + 插件 的模式,目前已开源,代码托管在github。 DataX安装部署及小试 1.下载压缩包 下载页面地址:https://github.com/al...

0
0
发表了博客
06/05 13:44

datax使用

1.dataX安装二进制 下载就可以用 下载DataXwget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz 解压DataXtar zxvf datax.tar.gz 修改权限chmod R 755 datax 2.数据库配置 data datax 3.job {     "job": {         "content": [             {          ...

0
0
发表于AI & 大数据专区
2019/09/12 15:49

Datax入门

DataX简介 DataX 是阿里巴巴开源的离线数据同步工具,实现包括 MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。 DataX本身作为数据同步框架,将...

0
0
09/09 00:00

Sqoop or Datax

1 前言 sqoop和datax作为2款优秀的数据同步工具,备受数据开发人员喜爱,如何选择也是件非常头疼的事,下面就这两种工具来分析分析吧... 2 sqoop 1 定义 sqoop 是 apache 旗下一款“Hadoop中的各种存储系统(HDF...

0
0
发表于AI & 大数据专区
06/29 13:54

DataX Web 2.1.2发布

DataX-Web DataX Web是在DataX之上开发的分布式数据同步工具,提供简单易用的 操作界面,降低用户使用DataX的学习成本,缩短任务配置时间,避免配置过程中出错。用户可通过页面选择数据源即可创建数据同步任务,R...

0
1
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
暂无内容
9 评论
198 收藏
分享
返回顶部
顶部