评论删除后，数据将无法恢复
拥抱开源，微软做了哪些努力？一大波开源技术成果将亮相微软在线技术峰会>>> 
Elasticsearch-datatran 是由 bboss 开源的一款将各种数据源中的海量数据同步到 Elasticsearch 的高效数据同步工具。
功能特点
1.支持多种数据源之间的数据同步
- 数据库表数据同步到Elasticsearch
- 数据库表数据同步到数据库表
- Elasticsearch数据同步到数据库表
- Elasticsearch数据同步到Elasticsearch
- Mongodb数据同步到Elasticsearch
- Mongodb数据同步到数据库表
- 从Kafka接收数据并导入Elasticsearch
- 增删改数据同步到elasticsearch
- HBase数据同步到Elasticsearch
2.支持多种数据导入方式
- 批量数据导入
- 批量数据多线程并行导入
- 定时全量（串行/并行）数据导入
- 定时增量（串行/并行）数据导入
3.支持的数据库和消息中间件类型
数据库： mysql,maridb，postgress,oracle ,sqlserver,db2,tidb,hive，mongodb、HBase、elasticsearch、达梦等
消息中间件：kafka 1x,kafka 2x
4.Elasticsearch版本兼容性
Elasticsearch 1.x,2.x,5.x,6.x,7.x,+
5.支持海量PB级数据同步导入Elasticsearch
6.支持将ip转换为对应的运营商/省份城市/经纬度坐标位置信息
7.支持设置数据bulk导入任务结果处理回调函数，对每次bulk任务的结果进行成功和失败反馈，然后针对失败的bulk任务通过error和exception方法进行相应处理
8.支持多种定时任务执行引擎
- jdk timer （内置）
- quartz
- xxl-job分布式调度引擎，基于分片调度机制实现海量数据快速同步能力
9.基于java语言开发和发布数据同步作业
bboss elasticsearch数据同步工具另一个显著的特色就是直接基于java语言来编写数据同步作业程序，基于强大的java语言和第三方工具包，能够非常方便地加工和处理需要同步的源数据，然后将最终的数据保存到目标库（Elasticsearch或者数据库）；同时也可以非常方便地在idea或者eclipse中调试和运行同步作业程序，调试无误后，通过bboss提供的gradle打包构建脚本，即可发布出可部署到生产环境的同步作业包。
10.支持两种作业运行方式
- 嵌入到应用中运行，基于quartz和jdk timer调度的作业都可以运行在这种模式下，参考文档：spring boot运行案例
- 独立发布包运行，基于quartz和xxl-job，jdk timer调度的作业都可以运行在这种模式下，参考文档：作业发布
加载中
删除一条评论
Elasticsearch 数据同步工具 Elasticsearch-datatran 6.0.6 发布
Elasticsearch-datatran 是由 bboss 开源的一款将各种数据源中的海量数据同步到 Elasticsearch 的高效数据同步工具。 功能特点 1.支持多种数据源之间的数据同步 数据库表数据同步到Elasticse...
没有更多内容
加载失败，请刷新页面
没有更多内容
暂无问答
CentOS7 部署 ElasticSearch 集群
原
环境 主机名 IP 操作系统 ES 版本 es227 192.168.1.227 CentOS7.5 6.5.4 es228 192.168.1.228 CentOS7.5 6.5.4 es229 192.168.1.229 CentOS7.5 6.5.4 下载 elasticsearch-6.5.4.tar.gz 各节点...
ElasticSearch安装
原
ElasticSearch的安装 http://www.elasticsearch.org/下载最新的ElastiSearch版本。 解压下载文件。 cd到${esroot}/bin/，执行elasticsearch启动。 使用curl -XPOST localhost:9200/_shutdow...
Elasticsearch安装、启动
原
可以参考官网的教程安装 https://www.elastic.co/guide/en/elasticsearch/reference/current/_installation.html 安装jdk 安装JDK请参考另一篇博客 https://my.oschina.net/u/4008390/blog/...
ES(elasticsearch)搜索引擎
转
ES(elasticsearch)搜索引擎 0、授人以渔，少走半年弯路！ 死磕 Elasticsearch 方法论：普通程序员高效精进的 10 大狠招！ 一、Elasitcsearch基础篇 1.1 Elasitcsearch基础认知 1、Elasticse...
windows下安装elasticsearch
原
windows下安装elasticsearch 1.下载elasticsearch，解压 2.配置环境变量path，指向elasticsearch的bin 3.发布为service。打开dos窗口输入：service -install [service-name] 启动elasticsear...
ElasticSearch使用
原
荐
安装之前，请参考https://github.com/richardwilly98/elasticsearch-river-mongodb根据你的MongoDB版本号决定需要的elasticsearch版本号和插件号。 1)安装ES 下载ElasticSearch_版本号.tar....
windows下安装elasticsearch-1.7.1
原
"ElasticSearch"——一个不错的企业级开源搜索产品。http://www.elasticsearch.cn/ 中文网 搜索，你懂的！首先你得安装java环境哟
Elasticsearch笔记(一)—Elasticsearch安装配置
原
荐
ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是...
安装elasticsearch
原
1,解压 elasticsearch-5.6.10.tar.gz tar -zxvf elasticsearch-5.6.10.tar.gz 链接如下： 链接：https://pan.baidu.com/s/1BAjOW-y7wPbKBf8b97t-MA 密码：49cq 2，修改配置文件 1， elastics...
ElasticSearch安装系列教程---->(二)、linux（centos7）安装elasticsearch-head插件
原
1、elasticsearch-head是基于nodejs开发的，所以需要安装nodejs环境 2、下载nodejs 安装包 进入nodejs官网 右键复制下载链接 https://nodejs.org/dist/v10.13.0/node-v10.13.0-linux-x64.tar...
没有更多内容
加载失败，请刷新页面
软件作者
同类软件
Rope - 轻量级 ETL 工具
收藏 22
wradlib - 天气雷达数据处理
收藏 3
Annoy - 求近似最近邻的库
收藏 7
Faust - Python 流处理
收藏 6
Scriptis - 交互式数据分析工具
收藏 65
SandDance - 数据可视化工具
收藏 192
Brooklin - 近实时大规模数据流式传输
收藏 48
评论(0)
暂无评论