轻量级 ETL 工具 Rope

Apache
Java
跨平台
2020-03-13
KingStarMemory

Rope 是一款轻量级别的 ETL (Extract-Transform-Load) 工具。主要用于从不同源获取/接受数据,然后统一处理数据后,写入到各种目标源;系统采用多级缓冲和数据缓存,每秒可处理上万级别的数据;而且系统采用插件扩展系统的各个组件,针对不同需求扩展不同插件。

特性

  1. 轻量级别、快速、简单,入门门槛低
  2. 基于Springboot开发
  3. 扩展性强,基于插件开发,可根据不同需求来开发数据读取者、数据处理器、数据写入者
  4. 既可通过UI界面来构建流程、也可以使用jsonyml文件构建流程
  5. 基于 Disruptor 做的缓冲,并新增缓存(内存、redis、rocksdb等),处理速度快

核心模块

输入模块

用于控制数据的输入动作。主要包括两种类型:主动获取型输入、被动接受性输入。

数据读取者

该模块主要是读取数据的具体实现,可自行扩展。不能单独运行,需要作用于 主动获取型Input上才能运行。

数据传输模块

主要对数据进行传送,系统中存在两种数据传输:一个是用于把输入模块输入的数据传输到数据处理器中,另一个是把数据处理器处理后的数据传输到输出模块中。目前支持默认的数据传输器和基于Disruptor的缓冲数据传输器,在实际环境中建议Disruptor的缓冲数据传输器。

数据处理器模块

该组件为数据处理器,其作用是处理数据,比如将字符型数据处理成其他类型、丢弃某数据、新增某数据字段。该组件可自行扩展,是非必须组件。

数据输出模块

该组件主要用于系统数据的输出,即将数据以哪种方式输出,它并不关心数据输出到哪里去,只关心数据如何输出。

数据写入者

该组件为具体数据写入的实现,它主要关心数据写入到哪里去,为数据输出的具体实现。必须作用于Output上才能运行

数据转换器-Converter

数据转换器,该组件主要用于数据类型的转换,大部分情况是配合Reader Writer实现的,核心思想是让Reader Writer关心数据的读取、写入,它关心数据类型的转换细节。这样就具有很强的扩展性。

的码云指数为
超过 的项目
加载中
请先登录后再评论。

暂无资讯

暂无问答

浅谈 cxx rope

一般说的浅谈是永远不会短的 然后$qwq$本宝宝并不想讲实现原理 会用就行了呗 然后方便起见,本文规定数组$a$的第$1$位为$a[0]$ 并且本文的所有$debug$为了方便看到我们$rope$长度之后的东西,...

2018/07/09 20:57
21
0
数据结构:Rope

以BZOJ1507为例,这里仅仅展示动态区间问题的一些典型操作,包括插入删除和修改,查询的话不支持按顺序查询 使用起来很简单很方便 1 #include<cstdio> 2 #include<ext/rope> 3 using n...

2018/08/21 17:01
8
0
《搬砖日记》Obi Rope插件的简单使用

今天介绍一个Unity绳子插件Obi Rope的简单使用 先分享一下插件: 链接:https://pan.baidu.com/s/1XQp3mYxTRfvXwsU_Z_9ILw 提取码:pw08 进入正题: 1.导入插件就不说了,导入后右键新建一个...

2018/12/05 14:35
94
0
数据结构:Rope-区间翻转

BZOJ1269 上一篇文章介绍了Rope的简单应用,这里多了一个操作,区间翻转 同时维护一正一反两个rope……反转即交换两个子串 下面给出代码: 1 #include<cstdio> 2 #include<ext/rope> 3...

2018/08/21 17:23
8
0
Rope整理(可持久化神器)

  rope是什么?STL的内置的可持久化的数组。其最为方便的就是可以O1复制原来的数组。事实上rope的内置实现也是平衡树,由于只需要复制根结点,O1可以做到复制历史版本。 然而这个东西常数特...

2019/01/27 21:08
36
0
【可持久化线段树?!】rope史上最全详解

https://www.luogu.org/problemnew/show/P3919 看到上面链接中的题时,我在学会可持久化线段树的同时,第一次学会了一个非常屌(cai)的STL大法——rope!!! 这是一个非标准的STL工具,一般...

2018/05/25 17:21
57
0
可持化永久树 的 STL ( rope )

rope 的基本操作 #include <ext/rope> using namespace __gnu_cxx; int a[1000]; rope<int> x; rope<int> x(a,a + n); rope<int> a(x); x->at(10); x[10]; x->push_back(x) ...

2018/07/27 16:11
9
0
STL - rope 【强大的字符串处理容器】

包含头文件: #include<ext/rope> using namespace __gnu_cxx; 申请: 1 rope text; 基本操作: 1 test.push_back(x); //在末尾添加x 2 3 test.insert(pos,x); //在p...

2018/07/31 02:16
12
0
2020 hdu多校4 1003 Contest of Rope Pulling(01背包+随机化)

题意 \(T\)组数据,有\(n\),\(m\)代表每个班级的人数,每个人有两种属性\(w_i\)(力量值),\(v_i\)(魅力值),问你从两班中选择两个子集(可为空),使得两个子集的力量值和相等,求选出来...

08/03 07:56
112
0
关于Unity中实现绳索物理效果 Obi - Advanced Rope Simulation插件解析

Obi - Advanced Rope Simulation 绳索插件学习文档 插件分享: 链接:https://pan.baidu.com/s/1eTwZOrg 密码:p8wa //插件导入有错误产生,将错误代码行注释掉即可 一、绳子解算类脚本控制 ...

2018/01/20 15:13
104
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部