Data JellyFish 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
Data JellyFish 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
Data JellyFish 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
授权协议 Apache
操作系统 跨平台
软件类型 开源软件
开源组织
地区 国产
投 递 者 食得落
适用人群 未知
收录时间 2021-04-18

软件简介

Data JellyFish 译文(数据水母)是数据调度中心,实现系统与系统之间,服务与服务之间,旺小宝与第三方之间的数据100%准实时同步。

用途

  1. 与第三方的数据同步

  2. 内部系统之间的数据同步

特性

  1. 数据100%传输,不丢失任何一条数据

  2. 实时性高,相比定时任务每5分钟,半天,一天,而言,在秒级实现同步

  3. 对接成本低,增量同步时提供一个增量查询接口,全量同步时提供一个全量查询接口

  4. 无中心化的分布式任务,实现任务分片能力,达到并发处理,实现快速调度的目的

  5. 每一条数据都有同步的成功或失败记录,历史可查

  6. 自定义重试策略,固定时长,指数级重试

  7. 完善的监控信息,有多少同步了,有多少未同步,

原理

以系统A同步数据到系统B为例,A系统提供一个http接口,实现数据增量或全量的抓取,”Data JellyFish 数据高度中心“ 简称 "DJ" ,DJ 启动生产者任务线 程T1调用A系统的http接口,将数据存储在自己的中间表中,同时,DJ启动消费者任务线程T2调用B系统提供的另一个接受数据的HTTP接口,来完成数据调度

架构图

传统数据同步方案比较

  1. RCP, http协议直接访问第三方,内存中重试三次后,消息丢失

  2. 定时任务数据同步,延迟高,无分片并发能力

  3. MQ,Kafka等,研发对接(保证数据准确传输的)成本高,无流水记录,无法直接回塑

  4. 每次数据对接都需要重复开发,不具备可用性

样例图

问题反馈

微信号: freedom-Union
邮件交流: kobe96688@126.com
报告issue: https://gitee.com/alenfive/data-jelly-fish/issues

屏幕截图.png

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论

点击引领话题📣
发表了资讯
2021/04/19 07:32

Data JellyFish 首次发布,分布式数据调用中心

Data JellyFish 译文(数据水母)是数据调度中心,实现系统与系统之间,服务与服务之间,与第三方之间的数据100%准实时同步。 用途 与第三方的数据同步 内部系统之间的数据同步 特性 数据100%传输,不丢失任何一条数据 实时性高,相比定时任务每5分钟,半天,一天,而言,在秒级实现同步 对接成本低,增量同步时提供一个增量查询接口,全量同步时提供一个全量查询接口 无中心化的分布式任务,实现任务分片能力,达到并发处理,实...

0
8
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
发表了问答
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
暂无内容
0 评论
17 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部