DataX Web 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
DataX Web 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
DataX Web 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」 !
DataX Web 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」「最积极运营项目」 !
DataX Web 获得 2020 年度 OSC 中国开源项目评选「最积极运营项目」 !
授权协议 MIT
开发语言 Java JavaScript
操作系统 Windows
软件类型 开源软件
所属分类 大数据数据处理
开源组织
地区 国产
投 递 者 微野
适用人群 未知
收录时间 2020-06-29

软件简介

DataX Web是在DataX之上开发的分布式数据同步工具,提供简单易用的操作界面,降低用户使用DataX的学习成本,缩短任务配置时间,避免配置过程中出错。用户可通过页面选择数据源即可创建数据同步任务,RDBMS数据源可批量创建数据同步任务,支持实时查看数据同步进度及日志并提供终止同步功能,集成并二次开发xxl-job可根据时间、自增主键增量同步数据。

任务"执行器"支持集群部署,支持执行器多节点路由策略选择,支持超时控制、失败重试、失败告警、任务依赖,执行器CPU.内存.负载的监控等等。后续还将提供更多的数据源支持、数据转换UDF、表结构同步、数据同步血缘等更为复杂的业务场景。

Architecture diagram:

项目部分截图

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (9)

加载中
立意很好
2020/08/25 15:19
回复
举报
看着安装文档,习惯docker一键安装的我头皮发麻
2020/07/22 16:58
回复
举报
这个不错,请问大家稳定不
2020/07/06 09:29
回复
举报
目前bug太多了
2020/07/06 15:21
回复
举报
微野软件作者
有bug欢迎提issue啊,我们会努力解决的
2020/07/07 17:54
回复
举报
不错,公司之前也做了类似界面,但增量同步还没时间做
2020/07/01 15:52
回复
举报
微野软件作者
2020/07/01 15:54
回复
举报
mysql8 支持吗?
2020/07/02 21:00
回复
举报
微野软件作者
支持的
2020/07/03 08:14
回复
举报
更多评论
发表于AI & 大数据专区
2020/06/29 14:26

DataX Web 2.1.2 发布

DataX Web是在DataX之上开发的分布式数据同步工具,提供简单易用的操作界面,降低用户使用DataX的学习成本,缩短任务配置时间,避免配置过程中出错。用户可通过页面选择数据源即可创建数据同步任务,RDBMS数据源可批量创建数据同步任务,支持实时查看数据同步进度及日志并提供终止同步功能,集成并二次开发xxl-job可根据时间、自增主键增量同步数据。 任务"执行器"支持集群部署,支持执行器多节点路由策略选择,支持超时控制、失...

15
73
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表于数据库专区
01/31 20:57

datax 及datax-web简单介绍

# 1、datax 介绍安装 ## 1.1 简单介绍 DataX是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 ![](https://oscimg.oschina.net/oscnet/up-4b754eaa39f975af06bc9b6e5724b884989.png) DataX本身作为离线数据同步框架,采用Framework + plugin架构构建。将数据源读取和写入抽象成为Reader/Writer插件,纳入到整个同步框架...

0
0
发表了博客
2019/03/13 13:48

DataX简介

DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。 设计理念: 为了解决异构数据源同步问题,DataX将复杂的网状的同步链路变成了星型数据链路,DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数源的时候,只需要将此数据源对接到DataX,便能跟...

0
0
发表了博客
2019/05/21 17:32

dataX的安装

一、前置条件   Linux   JDK(1.8以上,推荐1.8)   Python(推荐Python2.6.X)   Apache Maven 3.x (Compile DataX)   如何查看各条件是否满足?     linux查看版本: cat /etc/issue cat /etc/redhat-release     JDK查看版本:(通常需要自己安装,安装参考linux随笔:https://www.cnblogs.com/jiangbei/p/8270589.html) java -version     python版本查看(通常系统自带2.x版本) python -V     mav...

0
0
发表于AI & 大数据专区
2019/02/14 12:18

dataX概述

目录 前言 一、阿里云开源离线同步工具DataX3.0介绍 二、DataX架构及原理 三、DataX程序流程介绍 四、DataX 如何使用 五、DataX Java使用 六、DataX部分核心源码解析 前言 最近接到需求是,需要一个用来解决异源数据库之间数据全量同步(部分支持实时同步)的数据交换工具。而阿里的开源的DataX 刚好满足需求,因此我们使用以DataX为基础,开发了一个满足异源数据库同步的数据交换工具。以下是一些心得体会,与诸君共勉。一、二...

0
2
发表了博客
2018/07/02 13:45

DataX介绍

一. DataX3.0概览 DataX 是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 设计理念 为了解决异构数据源同步问题,DataX将复杂的网状的同步链路变成了星型数据链路,DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候,只需要将此数据源对接到DataX,便能跟已有的数据源做到无缝数据同步。 当前...

0
0
发表了博客
2020/07/22 09:50

DataX的使用

简介 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、HDFS、Hive、OceanBase、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。DataX采用了框架 + 插件 的模式,目前已开源,代码托管在github。 DataX安装部署及小试 1.下载压缩包 下载页面地址:https://github.com/alibaba/DataX 在页面中【Quick Start】--->【Download DataX下载地址】进行下载。下载后的包名:datax.tar.g...

0
0
发表了博客
2020/06/05 13:44

datax使用

1.dataX安装二进制 下载就可以用 下载DataXwget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz 解压DataXtar zxvf datax.tar.gz 修改权限chmod R 755 datax 2.数据库配置 data datax 3.job {     "job": {         "content": [             {                 "reader": {                     "name": "mysqlreader",     ...

0
0
2019/09/12 15:49

Datax入门

# DataX简介 DataX 是阿里巴巴开源的离线数据同步工具,实现包括 MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。 DataX本身作为数据同步框架,将不同数据源的同步抽象为从源头数据源读取数据的Reader插件,以及向目标端写入数据的Writer插件,理论上DataX框架可以支持任意数据源类型的数据同步工作。同时DataX插件体系作为一套生态系统, 每接入一套新数据源该...

0
0
发表于AI & 大数据专区
2020/06/29 13:54

DataX Web 2.1.2发布

# DataX-Web DataX Web是在DataX之上开发的分布式数据同步工具,提供简单易用的 操作界面,降低用户使用DataX的学习成本,缩短任务配置时间,避免配置过程中出错。用户可通过页面选择数据源即可创建数据同步任务,RDBMS数据源可批量创建数据同步任务,支持实时查看数据同步进度及日志并提供终止同步功能,集成并二次开发xxl-job可根据时间、自增主键增量同步数据。 任务"执行器"支持集群部署,支持执行器多节点路由策略选择,支...

0
1
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
9 评论
217 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部