elasticsearch-datatran 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
elasticsearch-datatran 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
elasticsearch-datatran 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
授权协议 Apache
开发语言 Java
操作系统 跨平台
软件类型 开源软件
所属分类 大数据数据处理
开源组织
地区 国产
投 递 者 bboss
适用人群 未知
收录时间 2020-03-23

软件简介

Elasticsearch-datatran 由 bboss 开源的数据同步迁移工具,支持在Elasticsearch、关系数据库(mysql,oracle,db2,sqlserver、达梦等)、Mongodb、HBase、Hive、Kafka、文本文件、excel文件、csv文件、SFTP/FTP多种数据源之间进行海量数据同步;支持日志文件实时增量采集到kafka/elasticsearch/database。提供了作业任务控制API、作业监控api,支持作业启动、暂停(pause)、继续(resume)、停止控制机制,可轻松定制一款属于自己的ETL管理工具。

文件采集和生成插件

案例大全

https://esdoc.bbossgroups.com/#/bboss-datasyn-demo

功能特点

1.支持多种数据源之间的数据同步

  • 数据库表数据同步到Elasticsearch
  • 数据库表数据同步到数据库表
  • Elasticsearch数据同步到数据库表
  • Elasticsearch数据同步到Elasticsearch
  • Mongodb数据同步到Elasticsearch
  • Mongodb数据同步到数据库表
  • 从Kafka接收数据并导入Elasticsearch
  • 增删改数据同步到elasticsearch
  • HBase数据同步到Elasticsearch
  • 将elasticsearch数据导出到文本文件以及通过ftp/sftp上传文件到文件服务器
  • 将数据库表数据导出到文本文件以及通过ftp/sftp上传文件到文件服务器
  • 将elasticsearch数据导出发送到Kafka服务器
  • 将数据库表数据发送到Kafka服务器
  • 支持excel、csv文件采集(本地和ftp/sftp)
  • 支持记录切割功能
  • 支持ftp/sftp文件下载采集功能,支持删除已处理的ftp文件
  • 支持采集完毕文件备份及备份文件清理功能
  • 支持子目录文件扫描采集
  • 可以将加工后的数据写入File并上传到ftp/sftp服务器;

    支持导出数据到excel、csv文件、文本文件,并上传到ftp/sftp服务器

  • 支持自定义数据处理器功能,方便将数据发送到想要放置的目标

2.支持多种数据导入方式

  • 批量数据导入
  • 批量数据多线程并行导入
  • 定时全量(串行/并行)数据导入
  • 定时增量(串行/并行)数据导入

3.支持的数据库和消息中间件类型

数据库: mysql,maridb,postgress,oracle ,sqlserver,db2,tidb,hive,mongodb、HBase、elasticsearch、达梦等

消息中间件:kafka 1x,kafka 2x

4.Elasticsearch版本兼容性

Elasticsearch 1.x,2.x,5.x,6.x,7.x,8.x+

5.支持海量PB级数据同步导入Elasticsearch

6.支持将ip转换为对应的运营商/省份城市/经纬度坐标位置信息

7.支持设置数据bulk导入任务结果处理回调函数,对每次bulk任务的结果进行成功和失败反馈,然后针对失败的bulk任务通过error和exception方法进行相应处理

8.提供详细的数据同步任务监控指标,可监控作业任务处理总记录数、成功记录数、Ignore记录数、失败记录数,支持自行将任务监控指标数据进行存储或者转发到kafka

9.支持多种定时任务执行引擎

10.支持两种作业运行方式

  • 嵌入到应用中运行,基于quartz和jdk timer调度的作业都可以运行在这种模式下,参考文档:spring boot运行案例
  • 独立发布包运行,基于quartz和xxl-job,jdk timer调度的作业都可以运行在这种模式下,参考文档:作业发布

11.基于java语言开发和发布数据同步作业

    Elasticsearch-datatran 的独特之处,其数据同步作业采用java语言开发,可以用采用java提供的所有功能和现有组件框架,随心所欲地处理和加工海量存量数据、实时增量数据,可以根据数据规模及同步性能要求,按需配置和调整数据采集同步作业所需内存、工作线程、线程队列大小。如果你还在苦于logstash、flume、filebeat之类的开源工具无法满足复杂的、海量的数据处理加工场景,或者因企业信息化投资限制,而不能采用一些重量级的解决方案,那么Elasticsearch-datatran是一个不错的选择。

    相较而言,bboss开源的Elasticsearch-datatran比较小巧精致,可以把他看成是一个简单的、轻量级的数据同步框架,亦可以把他当做一个小组件;使用时,只需要导入一个maven坐标,参考已有的案例,就可以轻松愉快地开发出一个非常棒的数据采集、加工、入库、分发、上传的、具备增量状态管理功能的数据采集同步作业,同时还可以在idea、eclipse中进行debug调测,通过一些错误回调处理机制,可以非常方便地洞悉同步过程中的各种数据问题、处理错误和异常;依赖jdk环境,无需额外安装其他工具环境,就可以将bboss数据采集同步作业跑起来。 因直接基于java语言开发同步作业,同步作业可以独立运行管控,也可以嵌入自己的应用运行管控,通过提供的作业执行控制API、任务状态监控metircs api,可以定制化开发一些符合自己要求的同步作业任务监控管理功能,提供作业启动、暂停(pause)、继续(resume)、停止控制机制,轻松定制一款属于自己的ETL管理工具。

总之Elasticsearch-datatran是一款高度灵活的数据交换工具,基于Elasticsearch-datatran可以快速实现开发高效而强大的数据同步作业,以及构建在其上的数据交换产品。

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论

点击加入讨论🔥(3)
发表了资讯
05/05 09:26

数据采集 ETL 工具 Elasticsearch-datatran v6.5.8 发布

数据采集 ETL 工具 Elasticsearch-datatran v6.5.8发布 v6.5.8 功能改进 数据同步改进:采用外部数据源管理增量状态时,停止作业后重启作业失败问题处理 数据同步改进:优化同时向多个elasticsearch写入数据功能 数据同步改进:优化sqlite增量管理机制 优化IP地址解析性能 改进批量bulk操作filter_path配置,默认不设置filter_path,如果需要设置,可以参考文档中涉及批处理内容 https://esdoc.bbossgroups.com/#/document-cru...

5
26
发表了资讯
04/06 09:54

数据采集 ETL 工具 Elasticsearch-datatran v6.5.5 发布

数据采集 ETL 工具 Elasticsearch-datatran v6.5.5发布, v6.5.5 功能改进 带来全新改版的bboss官网,欢迎大家体验:https://www.bbossgroups.com 数据同步机制优化:各插件tran逻辑复用优化 ftp/sftp文件下载锁优化,大幅提升文件采集插件性能 增加ftp/sftp文件并行下载机制,通过setDownloadWorkThreads实现并行下载线程数,默认为3个,如果设置为0代表串行下载 FtpConfig ftpConfig = new FtpConfig().setFtpIP("10.13.6.12...

2
18
发表了资讯
03/07 10:34

数据采集 ETL 工具 Elasticsearch-datatran v6.5.2 发布

数据采集ETL工具 Elasticsearch-datatran v6.5.0 发布。 Elasticsearch-datatran 由 bboss 开源的数据采集同步ETL工具,提供数据采集、数据清洗转换处理和数据入库功能。支持在Elasticsearch、关系数据库(mysql,oracle,db2,sqlserver、达梦等)、Mongodb、HBase、Hive、Kafka、文本文件、SFTP/FTP多种数据源之间进行海量数据采集同步;支持本地/ftp文件(文本文件、excel文件、csv文件)实时增量采集到kafka/elasticsearch/databas...

9
41
发表了资讯
01/24 12:42

数据采集 ETL 工具 Elasticsearch-datatran v6.5.0 发布

数据采集ETL工具 Elasticsearch-datatran v6.5.0 发布。 Elasticsearch-datatran 由 bboss 开源的数据采集同步ETL工具,提供数据采集、数据清洗转换处理和数据入库功能。支持在Elasticsearch、关系数据库(mysql,oracle,db2,sqlserver、达梦等)、Mongodb、HBase、Hive、Kafka、文本文件、SFTP/FTP多种数据源之间进行海量数据采集同步;支持本地/ftp日志文件实时增量采集到kafka/elasticsearch/database;支持根据字段进行数据记录...

0
18
发表了资讯
2021/12/06 12:34

数据采集 ETL 工具 Elasticsearch-datatran v6.3.9 发布

数据采集ETL工具 Elasticsearch-datatran v6.3.9 发布。 Elasticsearch-datatran 由 bboss 开源的数据采集同步ETL工具,提供数据采集、数据清洗转换处理和数据入库功能。支持在Elasticsearch、关系数据库(mysql,oracle,db2,sqlserver、达梦等)、Mongodb、HBase、Hive、Kafka、文本文件、SFTP/FTP多种数据源之间进行海量数据采集同步;支持本地/ftp日志文件实时增量采集到kafka/elasticsearch/database;支持根据字段进行数据记录...

3
28
发表了资讯
2021/11/04 09:19

数据采集 ETL 工具 Elasticsearch-datatran v6.3.7 发布

数据采集ETL工具 Elasticsearch-datatran v6.3.7 发布。 Elasticsearch-datatran 由 bboss 开源的数据采集同步ETL工具,提供数据采集、数据处理和数据入库功能。支持在Elasticsearch、关系数据库(mysql,oracle,db2,sqlserver、达梦等)、Mongodb、HBase、Hive、Kafka、文本文件、SFTP/FTP多种数据源之间进行海量数据采集同步;支持本地/ftp日志文件实时增量采集到kafka/elasticsearch/database;支持根据字段进行数据记录切割;支...

5
27
发表了资讯
2021/10/18 13:00

数据采集 ETL 工具 Elasticsearch-datatran v6.3.6 发布

数据采集ETL工具 Elasticsearch-datatran v6.3.6 发布,本版本提供大家期待已久的记录切割功能和ftp文件下载采集功能。 Elasticsearch-datatran 由 bboss 开源的数据采集同步ETL工具,提供数据采集、数据处理清洗和数据入库功能。支持在Elasticsearch、关系数据库(mysql,oracle,db2,sqlserver、达梦等)、Mongodb、HBase、Hive、Kafka、文本文件、SFTP/FTP多种数据源之间进行海量数据同步;支持本地/ftp日志文件实时增量采集到k...

0
22
发表了资讯
2021/08/13 09:54

数据采集 ETL 工具 Elasticsearch-datatran v6.3.3 发布

数据采集ETL工具 Elasticsearch-datatran v6.3.3 发布, v6.3.3修复了v6.3.2,v6.3.1版本引入的一系列问题,建议升级。 Elasticsearch-datatran 由 bboss 开源的数据采集同步ETL工具,提供数据采集、数据处理清洗和数据入库功能。支持在Elasticsearch、关系数据库(mysql,oracle,db2,sqlserver、达梦等)、Mongodb、HBase、Hive、Kafka、文本文件、SFTP/FTP多种数据源之间进行海量数据同步;支持日志文件实时增量采集到kafka/elast...

9
30
发表了资讯
2021/08/02 07:35

数据采集 ETL 工具 Elasticsearch-datatran v6.3.1 发布

数据采集ETL工具 Elasticsearch-datatran v6.3.1 发布,Elasticsearch-datatran 由 bboss 开源的数据采集同步ETL工具,提供数据采集、数据处理清洗和数据入库功能。支持在Elasticsearch、关系数据库(mysql,oracle,db2,sqlserver、达梦等)、Mongodb、HBase、Hive、Kafka、文本文件、SFTP/FTP多种数据源之间进行海量数据同步;支持日志文件实时增量采集到kafka/elasticsearch/database。 Elasticsearch版本兼容性:支持各种Elast...

2
33
发表了资讯
2021/06/03 10:52

数据采集ETL工具 Elasticsearch-datatran v6.3.0 发布

数据采集ETL工具 Elasticsearch-datatran 6.3.0 发布,Elasticsearch-datatran 由 bboss 开源的数据采集同步ETL工具,提供数据采集、数据处理清洗和数据入库功能。支持在Elasticsearch、关系数据库(mysql,oracle,db2,sqlserver、达梦等)、Mongodb、HBase、Hive、Kafka、文本文件、SFTP/FTP多种数据源之间进行海量数据同步;支持日志文件实时增量采集到kafka/elasticsearch/database。 Elasticsearch版本兼容性:支持各种Elastic...

0
54
发表了资讯
2021/04/19 19:25

elasticsearch-datatran v6.2.9 发布,Elasticsearch 高效数据同步工具

elasticsearch-datatran v6.2.9 已经发布,这是一个 Elasticsearch 高效数据同步工具。Elasticsearch-datatran 由 bboss 开源的数据同步迁移工具,支持在Elasticsearch、关系数据库(mysql,oracle,db2,sqlserver、达梦等)、Mongodb、HBase、Hive、Kafka、文本文件、SFTP/FTP多种数据源之间进行海量数据同步;支持日志文件实时增量采集到kafka/elasticsearch/database。 Elasticsearch版本兼容性:支持各种Elasticsearch版本(1.x...

4
39
发表于数据库专区
2021/04/19 12:46

数据同步工具 Elasticsearch-datatran v6.2.9 发布

数据同步工具 Elasticsearch-datatran 6.2.9 发布,Elasticsearch-datatran 由 bboss 开源的数据同步迁移工具,支持在Elasticsearch、关系数据库(mysql,oracle,db2,sqlserver、达梦等)、Mongodb、HBase、Hive、Kafka、文本文件、SFTP/FTP多种数据源之间进行海量数据同步;支持日志文件实时增量采集到kafka/elasticsearch/database。 Elasticsearch版本兼容性:支持各种Elasticsearch版本(1.x,2.x,5.x,6.x,7.x,+)之间相互数据迁...

11
38
发表于数据库专区
2021/03/01 10:24

数据同步工具 Elasticsearch-datatran v6.2.8 发布

数据同步工具 Elasticsearch-datatran 6.2.8 发布,Elasticsearch-datatran 由 bboss 开源的数据同步迁移工具,支持在Elasticsearch、关系数据库、Mongodb、HBase、Hive、Kafka、文本文件、SFTP/FTP多种数据源之间进行海量数据同步。 Elasticsearch版本兼容性:支持各种Elasticsearch版本(1.x,2.x,5.x,6.x,7.x,+)之间相互数据迁移 v6.2.8 功能改进 数据同步工具改进:Elasticsearch-File-Ftp/Sftp数据同步时,全局配置/记录级...

7
53
发表于AI & 大数据专区
2020/04/28 15:00

Elasticsearch-datatran v6.1.0 发布,Elasticsearch 数据同步工具

Elasticsearch 数据同步工具 Elasticsearch-datatran 6.1.0 发布,Elasticsearch-datatran 是由 bboss 开源的一款将各种数据源中的海量数据同步到 Elasticsearch 的高效数据同步工具。 v6.1.0功能改进 如果在程序里面配置的增量字段类型发生改变,要把增量状态表对应的类型调整为最新的字段类型 设置了类型后,就按照类型来,不再按照设置的日期和数字字段名称来区分: 增加setLastValueColumn方法,废弃setDateLastValueColum...

6
107
发表于AI & 大数据专区
2020/03/25 10:39

Elasticsearch 数据同步工具 Elasticsearch-datatran 6.0.6 发布

Elasticsearch-datatran 是由 bboss 开源的一款将各种数据源中的海量数据同步到 Elasticsearch 的高效数据同步工具。 功能特点 1.支持多种数据源之间的数据同步 数据库表数据同步到Elasticsearch 数据库表数据同步到数据库表 Elasticsearch数据同步到数据库表 Elasticsearch数据同步到Elasticsearch Mongodb数据同步到Elasticsearch Mongodb数据同步到数据库表 从Kafka接收数据并导入Elasticsearch 增删改数据同步到elasticsear...

2
82
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
发表了问答
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
3 评论
164 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部
返回顶部
顶部