elasticsearch-datatran 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
elasticsearch-datatran 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
elasticsearch-datatran 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」 !
elasticsearch-datatran 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」「最积极运营项目」 !
elasticsearch-datatran 获得 2020 年度 OSC 中国开源项目评选「最积极运营项目」 !
授权协议 Apache
开发语言 Java
操作系统 跨平台
软件类型 开源软件
所属分类 大数据数据处理
开源组织
地区 国产
投 递 者 bboss
适用人群 未知
收录时间 2020-03-23

软件简介

Elasticsearch-datatran 由 bboss 开源的数据同步迁移工具,支持在Elasticsearch、关系数据库(mysql,oracle,db2,sqlserver、达梦等)、Mongodb、HBase、Hive、Kafka、文本文件、SFTP/FTP多种数据源之间进行海量数据同步;支持日志文件实时增量采集到kafka/elasticsearch/database

功能特点

1.支持多种数据源之间的数据同步

2.支持多种数据导入方式

  • 批量数据导入
  • 批量数据多线程并行导入
  • 定时全量(串行/并行)数据导入
  • 定时增量(串行/并行)数据导入

3.支持的数据库和消息中间件类型

数据库: mysql,maridb,postgress,oracle ,sqlserver,db2,tidb,hive,mongodb、HBase、elasticsearch、达梦等

消息中间件:kafka 1x,kafka 2x

4.Elasticsearch版本兼容性

Elasticsearch 1.x,2.x,5.x,6.x,7.x,+

5.支持海量PB级数据同步导入Elasticsearch

6.支持将ip转换为对应的运营商/省份城市/经纬度坐标位置信息

7.支持设置数据bulk导入任务结果处理回调函数,对每次bulk任务的结果进行成功和失败反馈,然后针对失败的bulk任务通过error和exception方法进行相应处理

8.支持多种定时任务执行引擎

9.基于java语言开发和发布数据同步作业

bboss elasticsearch数据同步工具另一个显著的特色就是直接基于java语言来编写数据同步作业程序,基于强大的java语言和第三方工具包,能够非常方便地加工和处理需要同步的源数据,然后将最终的数据保存到目标库(Elasticsearch或者数据库);同时也可以非常方便地在idea或者eclipse中调试和运行同步作业程序,调试无误后,通过bboss提供的gradle打包构建脚本,即可发布出可部署到生产环境的同步作业包。

10.支持两种作业运行方式

  • 嵌入到应用中运行,基于quartz和jdk timer调度的作业都可以运行在这种模式下,参考文档:spring boot运行案例
  • 独立发布包运行,基于quartz和xxl-job,jdk timer调度的作业都可以运行在这种模式下,参考文档:作业发布
展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (0)

加载中
更多评论
发表了资讯
04/19 19:25

elasticsearch-datatran v6.2.9 发布,Elasticsearch 高效数据同步工具

elasticsearch-datatran v6.2.9 已经发布,这是一个 Elasticsearch 高效数据同步工具。Elasticsearch-datatran 由 bboss 开源的数据同步迁移工具,支持在Elasticsearch、关系数据库(mysql,oracle,db2,sqlserver、达梦等)、Mongodb、HBase、Hive、Kafka、文本文件、SFTP/FTP多种数据源之间进行海量数据同步;支持日志文件实时增量采集到kafka/elasticsearch/database。 Elasticsearch版本兼容性:支持各种Elasticsearch版本(1.x...

4
36
发表于数据库专区
04/19 12:46

数据同步工具 Elasticsearch-datatran v6.2.9 发布

数据同步工具 Elasticsearch-datatran 6.2.9 发布,Elasticsearch-datatran 由 bboss 开源的数据同步迁移工具,支持在Elasticsearch、关系数据库(mysql,oracle,db2,sqlserver、达梦等)、Mongodb、HBase、Hive、Kafka、文本文件、SFTP/FTP多种数据源之间进行海量数据同步;支持日志文件实时增量采集到kafka/elasticsearch/database。 Elasticsearch版本兼容性:支持各种Elasticsearch版本(1.x,2.x,5.x,6.x,7.x,+)之间相互数据迁...

11
37
发表于数据库专区
03/01 10:24

数据同步工具 Elasticsearch-datatran v6.2.8 发布

数据同步工具 Elasticsearch-datatran 6.2.8 发布,Elasticsearch-datatran 由 bboss 开源的数据同步迁移工具,支持在Elasticsearch、关系数据库、Mongodb、HBase、Hive、Kafka、文本文件、SFTP/FTP多种数据源之间进行海量数据同步。 Elasticsearch版本兼容性:支持各种Elasticsearch版本(1.x,2.x,5.x,6.x,7.x,+)之间相互数据迁移 v6.2.8 功能改进 数据同步工具改进:Elasticsearch-File-Ftp/Sftp数据同步时,全局配置/记录级...

7
54
发表于AI & 大数据专区
2020/04/28 15:00

Elasticsearch-datatran v6.1.0 发布,Elasticsearch 数据同步工具

Elasticsearch 数据同步工具 Elasticsearch-datatran 6.1.0 发布,Elasticsearch-datatran 是由 bboss 开源的一款将各种数据源中的海量数据同步到 Elasticsearch 的高效数据同步工具。 v6.1.0功能改进 如果在程序里面配置的增量字段类型发生改变,要把增量状态表对应的类型调整为最新的字段类型 设置了类型后,就按照类型来,不再按照设置的日期和数字字段名称来区分: 增加setLastValueColumn方法,废弃setDateLastValueColum...

6
107
发表于AI & 大数据专区
2020/03/25 10:39

Elasticsearch 数据同步工具 Elasticsearch-datatran 6.0.6 发布

Elasticsearch-datatran 是由 bboss 开源的一款将各种数据源中的海量数据同步到 Elasticsearch 的高效数据同步工具。 功能特点 1.支持多种数据源之间的数据同步 数据库表数据同步到Elasticsearch 数据库表数据同步到数据库表 Elasticsearch数据同步到数据库表 Elasticsearch数据同步到Elasticsearch Mongodb数据同步到Elasticsearch Mongodb数据同步到数据库表 从Kafka接收数据并导入Elasticsearch 增删改数据同步到elasticsear...

2
82
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
01/01 12:22

Elastic Stack:ELK

文章目录 一、存储系统分类 1.1 非结构化存储 1.1.1 常见使用设备 1.2 半结构化存储 1.3 结构化存储 二、 ELK日志分析系统组成 2.3.1 ElasticSearch 2.3.2 Logstash和Filebeat 2.3.3 Kibana 三、ELK日志分析系统简介 3.1Elasticsearch定义 3.2 Elasticsearch的用途 3.3ElasticSearch的原理 3.3.1 搜索引擎工作的过程 3.3.2 ElasticSearch 来源 3.3.3 ElasticSearch 基本概念 3.3.4 存储ElasticSearch数据 3.4 ElasticSearch 分布...

0
1
发表了博客
2019/04/11 19:19

ELK-Elasticsearch安装

1、安装JDK 必须安装JDK并且要求版本至少是1.8以上包含1.8的版本。 2、创建 es 用户 这里需要注意的是,es 规定 root 用户不能启动 es,所以需要创建一个用户来启动 es # 创建用户名为 es 的用户 useradd es # 设置 es 用户的密码 passwd es # 切换到 es 用户下 su es 3、安装Elasticsearch 3.1、下载压缩包 # wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.2.2.tar.gz 3.2、执行解压缩 # tar -z...

0
2
发表了博客
2019/05/11 21:38

ELK-部署elasticsearch

部署计划 node1 xx.xx.xx.xxx node2 xx.xx.xx.xxx node3 xxx.xxx.xxx 上面代表3个节点,且配置好/etc/hosts,为了方便最好配置ssh免密,定时同步网络时间等 部署计划(由于学习机器资源有限,使用最精简方式部署) logs logstash es kibana node1 y node2 y y node3 y 精简版部署架构图: 部署说明: 1、node1上放置测试日志文件 2、node1安装kibana 3、node2安装logstash收集器 4、node3安装es 5、logstash收集log过滤后发送到e...

0
1
发表了博客
2019/09/23 13:43

【Linux】【elasticsearch】docker部署elasticsearch及elasticsearch-head

前言   Elasticsearch是一个基于Apache Lucene(TM)的开源搜索引擎。无论在开源还是专有领域,Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。但是,Lucene只是一个库。想要使用它,你必须使用Java来作为开发语言并将其直接集成到你的应用中,更糟糕的是,Lucene非常复杂,你需要深入了解检索的相关知识来理解它是如何工作的。Elasticsearch也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的...

0
2
发表了博客
2019/03/31 12:54

ELK-Elasticsearch 安装启动

系统版本:Centos7 Elasticsearch:5.3.1 1:关闭SELinux [root@es local]# sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config 2:关闭防火墙 [root@es local]# systemctl stop firewalld [root@es local]# systemctl disable firewalld 3:安装EPEL源 [root@es local]# yum -y install epel-release [root@es local]# yum clean all [root@es local]# yum makecache 4:安装系统工具 [root@es local]#...

0
0
发表了博客
2018/07/31 17:07

【Python】Elasticsearch和elasticsearch_dsl

官网:https://elasticsearch-py.readthedocs.io/en/master/api.html 官网:https://github.com/elastic/elasticsearch-py/tree/master/elasticsearch/client 官网:https://elasticsearch-dsl.readthedocs.io/en/latest/api.html from elasticsearch_dsl import connections, Search from elasticsearch import Elasticsearch from elasticsearch.exceptions import * es_object = Elasticsearch(['url:9200'], sniffer...

0
0
发表了博客
2019/02/28 10:23

ELK之elasticsearch集群搭建

  安装配置elasticsearch不详述   环境:主elasticsearch IP 172.16.90.11 备elasticsearch IP 172.16.90.12   修改配置文件 /etc/elasticsearch/elasticsearch.yml   172.16.90.11 cluster.name: my-elk node.name: prd-es-kibana-01 path.data: /data/es-data path.logs: /var/log/elasticsearch network.host: 172.16.90.11 http.port: 9200 #集群个节点IP地址,也可以使用els、els.shuaiguoxia.com等名称,需...

0
0
发表了博客
2018/09/03 17:09

Elastic Stack-Elasticsearch介绍

一、前言 前篇写了好像没有多少人去看,但是还是要继续,我猜想可能是很多人接触的这块比较少吧,Elasticsearch这块有很多要说的,开始吧。 二、数据库、Elasticsearch选择 传统的数据由于采用的是B+树的索引,当数据量很大很大的时候,例如单表1Y以上的时候当我们在想做like操作的时候,这个是由于like操作会引起全表检索,这个时候非常影响我们查询的效率,当出现这种状况的时候我们就需要考虑下Elasticsearch,没错这就是一个...

0
0
发表了博客
2019/05/16 23:10

ELK-Elasticsearch 基础使用

一、基本概念 1 Node 与 Cluster Elastic 本质上是一个分布式数据库,允许多台服务器协同工作,每台服务器可以运行多个 Elastic 实例。单个 Elastic 实例称为一个节点(node)。一组节点构成一个集群(cluster)。 2 Index Elastic 会索引所有字段,经过处理后写入一个反向索引(Inverted Index)。查找数据的时候,直接查找该索引。 所以,Elastic 数据管理的顶层单位就叫做 Index(索引)。它是单个数据库的同义词。每个 Inde...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
暂无内容
0 评论
99 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部