Exchangis 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
Exchangis 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
Exchangis 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」 !
Exchangis 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」「最积极运营项目」 !
Exchangis 获得 2020 年度 OSC 中国开源项目评选「最积极运营项目」 !

软件简介

Exchangis是一个轻量级的、高扩展性的数据交换平台,支持对结构化及无结构化的异构数据源之间的数据传输,在应用层上具有数据权限管控、节点服务高可用和多租户资源隔离等业务特性,而在数据层上又具有传输架构多样化、模块插件化和组件低耦合等架构特点。

Exchangis的传输交换能力依赖于其底层聚合的传输引擎,其顶层对各类数据源定义统一的参数模型,每种传输引擎对参数模型进行映射配置,转化为引擎的输入模型。每聚合一种引擎,都将增加Exchangis一类特性,对某类引擎的特性强化,都是对Exchangis特性的完善。默认聚合以及强化Alibaba的DataX传输引擎。

核心特点

  • 数据源管理
    以绑定项目的方式共享自己的数据源;
    设置数据源对外权限,控制数据的流入和流出。

  • 多传输引擎支持
    传输引擎可横向扩展;
    当前版本完整聚合了离线批量引擎DataX、部分聚合了大数据批量导数引擎SQOOP

  • 近实时任务管控
    快速抓取传输任务日志以及传输速率等信息,实时关闭任务;
    可根据带宽状况对任务进行动态限流

  • 支持无结构化传输
    DataX框架改造,单独构建二进制流快速通道,适用于无数据转换的纯数据同步场景。

  • 任务状态自检
    监控长时间运行的任务和状态异常任务,及时释放占用的资源并发出告警。

与现有的系统的对比

对现有的一些数据交换工具和平台的对比:

功能模组 描述 Exchangis DataX Sqoop DataLink DBus
UI 集成便捷的管理界面和监控窗口 已集成 已集成 已集成
安装部署 部署难易程度和第三方依赖 一键部署,无依赖 无依赖 依赖Hadoop环境 依赖Zookeeper 依赖大量第三方组件
数据权限管理 多租户权限配置和数据源权限管控 支持 不支持 不支持 不支持 支持
  动态限流传输 支持 部分支持,无法动态调整 部分支持,无法动态调整 支持 支持,借助Kafka
数据传输 无结构数据二进制传输 支持,快速通道 不支持 不支持 不支持,都是记录 不支持,需要转化为统一消息格式
  嵌入处理代码 支持,动态编译 不支持 不支持 不支持 部分支持
  传输断点恢复 支持(未开源) 不支持,只能重试 不支持,只能重试 支持 支持
服务高可用 服务多点,故障不影响使用 应用高可用,传输单点(分布式架构规划中) 单点服务(开源版本) 传输多点 应用、传输高可用 应用、传输高可用
系统管理 节点、资源管理 支持 不支持 不支持 支持 支持
展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (0)

加载中
更多评论
发表了资讯
2020/05/15 14:42

Exchangis V1.0.0 版本发布--一款开源的轻量级数据交换平台

Exchangis是微众银行开源的轻量级数据交换平台,用于数据在不同存储介质中快速传递,并解决数据交换过程中面临的复杂性、兼容性等问题。设计上采取微服务架构形态,上下层服务松耦合,易于进行个性化的,高拓展性的迭代开发。 Exchangis开源项目地址: gitee地址: https://gitee.com/WeBank/Exchangis Github地址:https://github.com/WeBankFinTech/Exchangis 1.Exchangis是什么 Exchangis是一个数据交换系统,便捷且安全地进...

3
54
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
2020/05/21 11:37

WeBank/Exchangis

English | 中文 Introduction Exchangis is a lightweight,highly extensible data exchange platform that supports data transmission between structured and unstructured heterogeneous data sources. On the application layer, it has business features such as data permission management and control, high availability of node services and multi-tenant resource isolation. On the data layer, it also has arc...

0
0
发表于云计算专区
2020/06/03 10:37

Exchangis,助力海量数据跨多种数据源轻松传递共享

Exchangis,助力海量数据跨多种数据源轻松传递共享 Exchangis是微众银行开源的数据交换平台,用于数据在不同计算存储中快速传递,并解决数据交换过程中面临的序列化反序列化耗时长、传输限流、数据读写权限管控、组件版本兼容性等问题。设计上采取微服务架构,上下层服务松耦合,易于进行定制扩展开发。 Exchangis Github地址: https://github.com/WeBankFinTech/Exchangis 1 Exchangis是什么 Exchangis是一个数据交换系统,便...

0
0
2020/06/02 19:36

Exchangis,助力海量数据跨多种数据源轻松传递共享

Exchangis,助力海量数据跨多种数据源轻松传递共享 Exchangis是微众银行开源的数据交换平台,用于数据在不同计算存储中快速传递,并解决数据交换过程中面临的序列化反序列化耗时长、传输限流、数据读写权限管控、组件版本兼容性等问题。设计上采取微服务架构,上下层服务松耦合,易于进行定制扩展开发。 Exchangis Github地址: https://github.com/WeBankFinTech/Exchangis 1 Exchangis是什么 Exchangis是一个数据交换系统,便...

0
1
发表于云计算专区
2020/06/02 18:32

Exchangis,助力海量数据跨多种数据源轻松传递共享

Exchangis,助力海量数据跨多种数据源轻松传递共享 Exchangis是微众银行开源的数据交换平台,用于数据在不同计算存储中快速传递,并解决数据交换过程中面临的序列化反序列化耗时长、传输限流、数据读写权限管控、组件版本兼容性等问题。设计上采取微服务架构,上下层服务松耦合,易于进行定制扩展开发。 Exchangis Github地址: https://github.com/WeBankFinTech/Exchangis 1 Exchangis是什么 Exchangis是一个数据交换系统,便...

0
1
发表于数据库专区
2020/11/18 17:40

七款开源项目,让你数据库管理不再成为一个问题

在开发过程中,数据库是必不可少的一环,但大多数情况下开发者们还是在用命令行来管理数据库。虽然在外人看起来输入一行行代码非常的酷炫,但其中的繁琐可能也只有开发者知道。 今天 Gitee 推荐的就是七款最新的数据库管理的开源项目,它们是否能让你的数据库管理不再是问题呢? ### 1.Yearning 项目作者:HenryYee 开源许可协议:AGPL-3.0 项目地址:[https://gitee.com/cookieYe/Yearning](https://gitee.com/cookieYe/Yearni...

0
6
2020/03/23 15:22

拥抱开源,共建未来--WeDataSphere 开发者社区首次线上Meetup活动回顾

“ 本周一,微众银行开源的一站式金融级大数据平台套件WeDataSphere(简称WDS),成功组织了首次开发者社区的线上meetup,邀请了包括BOSS直聘、天翼云、艾佳生活、海康威视、mobtech、招联金融等在内的18家WDS开源社区开发贡献者单位参会。” 会议就WDS开源项目Contributing 规范、已开源组件2020年开发规划、新组件开源计划等议题,进行了深入的沟通探讨,并对社区开发者提出的问题进行了回答讨论。具体议题如下:1. WeDataSp...

0
0
发表于云计算专区
2020/03/22 23:25

拥抱开源,共建未来--WeDataSphere 开发者社区首次线上Meetup活动回顾

“ 本周一,微众银行开源的一站式金融级大数据平台套件WeDataSphere(简称WDS),成功组织了首次开发者社区的线上meetup,邀请了包括BOSS直聘、天翼云、艾佳生活、海康威视、mobtech、招联金融等在内的18家WDS开源社区开发贡献者单位参会。” 会议就WDS开源项目Contributing 规范、已开源组件2020年开发规划、新组件开源计划等议题,进行了深入的沟通探讨,并对社区开发者提出的问题进行了回答讨论。 具体议题如下: 1. WeDataS...

0
0
发表于云计算专区
2020/04/22 19:37

【喜讯】恭喜Linkis在github上的star数破1000

xing 星 xing 星 po 破 qian 千 就在今天,历时9个月的Linkis得到了第1000颗小星星! WeDataSphere 团队-深圳小伙伴 上海小伙伴 Linkis Linkis 是微众银行自主研发并开源的计算中间件,关注的是复杂分布式架构环境下,上层应用和底层计算(存储)引擎之间,各种类型的计算任务(如Spark、Hive和Python等)的连接、提交执行和管理问题。WeDataSphere 团队始终致力于通过开源开放的方式,推动计算中间件Linkis,成为便捷智能又强大...

0
0
2020/11/05 19:00

微众银行大数据平台建设方案

点击上方“蓝字”关注我们 微众银行在建立之初,就已经明确了整套分布式自主可控架构方案的核心,即在核心交易系统上,从“两地三中心”的主备架构,发展到现在的“三地八中心、多中心多活”的架构,进一步将科技运营成本降低至 3.5 元每户每年。 除了交易系统,在分析型系统领域上,微众银行也沿着自主可控的方向进行了尝试,最终探索研发了一套适合新一代银行的“高可靠、可扩展、低成本、高效率、智能化”的大数据平台方案。...

0
0
发表于云计算专区
2020/07/09 10:22

携手共进,开源可期:WeDataSphere开源社区与KubeSphere开源社区官宣合作

携手共进,开源可期 WeDataSphere开源社区与KubeSphere开源社区官宣合作 01 官宣 7月8日,WeDataSphere 开源社区与 KubeSphere 开源社区联合宣布两大社区正式开启合作。 据了解,微众银行 (WeBank) 大数据平台套件WeDataSphere产品团队及WeBank 人工智能部运维团队,与KubeSphere产品团队共同进行了多次线上沟通,深入交流了WeDataSphere的总体架构、技术理念以及对外合作模式。双方讨论了KubeSphere在WeBank 人工智能部主导开发...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
暂无内容
0 评论
94 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部