Elasticsearch 高效数据同步工具 elasticsearch-datatran

Apache
Java
跨平台
2020-03-23
bboss

拥抱开源,微软做了哪些努力?一大波开源技术成果将亮相微软在线技术峰会>>>

Elasticsearch-datatran 是由 bboss 开源的一款将各种数据源中的海量数据同步到 Elasticsearch 的高效数据同步工具。

功能特点

1.支持多种数据源之间的数据同步

2.支持多种数据导入方式

  • 批量数据导入
  • 批量数据多线程并行导入
  • 定时全量(串行/并行)数据导入
  • 定时增量(串行/并行)数据导入

3.支持的数据库和消息中间件类型

数据库: mysql,maridb,postgress,oracle ,sqlserver,db2,tidb,hive,mongodb、HBase、elasticsearch、达梦等

消息中间件:kafka 1x,kafka 2x

4.Elasticsearch版本兼容性

Elasticsearch 1.x,2.x,5.x,6.x,7.x,+

5.支持海量PB级数据同步导入Elasticsearch

6.支持将ip转换为对应的运营商/省份城市/经纬度坐标位置信息

7.支持设置数据bulk导入任务结果处理回调函数,对每次bulk任务的结果进行成功和失败反馈,然后针对失败的bulk任务通过error和exception方法进行相应处理

8.支持多种定时任务执行引擎

9.基于java语言开发和发布数据同步作业

bboss elasticsearch数据同步工具另一个显著的特色就是直接基于java语言来编写数据同步作业程序,基于强大的java语言和第三方工具包,能够非常方便地加工和处理需要同步的源数据,然后将最终的数据保存到目标库(Elasticsearch或者数据库);同时也可以非常方便地在idea或者eclipse中调试和运行同步作业程序,调试无误后,通过bboss提供的gradle打包构建脚本,即可发布出可部署到生产环境的同步作业包。

10.支持两种作业运行方式

  • 嵌入到应用中运行,基于quartz和jdk timer调度的作业都可以运行在这种模式下,参考文档:spring boot运行案例
  • 独立发布包运行,基于quartz和xxl-job,jdk timer调度的作业都可以运行在这种模式下,参考文档:作业发布

 

的码云指数为
超过 的项目
加载中

评论(0)

暂无评论

Elasticsearch 数据同步工具 Elasticsearch-datatran 6.0.6 发布

Elasticsearch-datatran 是由 bboss 开源的一款将各种数据源中的海量数据同步到 Elasticsearch 的高效数据同步工具。 功能特点 1.支持多种数据源之间的数据同步 数据库表数据同步到Elasticse...

03/25 10:39

没有更多内容

加载失败,请刷新页面

没有更多内容

暂无问答

CentOS7 部署 ElasticSearch 集群

环境 主机名 IP 操作系统 ES 版本 es227 192.168.1.227 CentOS7.5 6.5.4 es228 192.168.1.228 CentOS7.5 6.5.4 es229 192.168.1.229 CentOS7.5 6.5.4 下载 elasticsearch-6.5.4.tar.gz 各节点...

2018/12/27 14:34
1.2K
0
ElasticSearch安装

ElasticSearch的安装 http://www.elasticsearch.org/下载最新的ElastiSearch版本。 解压下载文件。 cd到${esroot}/bin/,执行elasticsearch启动。 使用curl -XPOST localhost:9200/_shutdow...

2015/08/13 18:21
698
0
Elasticsearch安装、启动

可以参考官网的教程安装 https://www.elastic.co/guide/en/elasticsearch/reference/current/_installation.html 安装jdk 安装JDK请参考另一篇博客 https://my.oschina.net/u/4008390/blog/...

2018/11/07 11:38
360
0
ES(elasticsearch)搜索引擎

ES(elasticsearch)搜索引擎 0、授人以渔,少走半年弯路! 死磕 Elasticsearch 方法论:普通程序员高效精进的 10 大狠招! 一、Elasitcsearch基础篇 1.1 Elasitcsearch基础认知 1、Elasticse...

2018/09/11 15:02
7.2K
3
windows下安装elasticsearch

windows下安装elasticsearch 1.下载elasticsearch,解压 2.配置环境变量path,指向elasticsearch的bin 3.发布为service。打开dos窗口输入:service -install [service-name] 启动elasticsear...

2013/12/19 14:51
7K
0
ElasticSearch使用

安装之前,请参考https://github.com/richardwilly98/elasticsearch-river-mongodb根据你的MongoDB版本号决定需要的elasticsearch版本号和插件号。 1)安装ES 下载ElasticSearch_版本号.tar....

2014/04/09 10:15
2.8W
10
windows下安装elasticsearch-1.7.1

"ElasticSearch"——一个不错的企业级开源搜索产品。http://www.elasticsearch.cn/ 中文网 搜索,你懂的!首先你得安装java环境哟

2015/08/07 12:40
3K
0
Elasticsearch笔记(一)—Elasticsearch安装配置

ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是...

2016/03/22 10:06
2.2W
5
安装elasticsearch

1,解压 elasticsearch-5.6.10.tar.gz tar -zxvf elasticsearch-5.6.10.tar.gz 链接如下: 链接:https://pan.baidu.com/s/1BAjOW-y7wPbKBf8b97t-MA 密码:49cq 2,修改配置文件 1, elastics...

2018/08/24 20:38
487
0
ElasticSearch安装系列教程---->(二)、linux(centos7)安装elasticsearch-head插件

1、elasticsearch-head是基于nodejs开发的,所以需要安装nodejs环境 2、下载nodejs 安装包 进入nodejs官网 右键复制下载链接 https://nodejs.org/dist/v10.13.0/node-v10.13.0-linux-x64.tar...

2018/11/19 13:43
3.9K
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部