数据采集 ETL 工具 Elasticsearch-datatran v6.3.9 发布

来源: 投稿
作者: bboss
2021-12-06

数据采集ETL工具 Elasticsearch-datatran v6.3.9 发布

Elasticsearch-datatran 由 bboss 开源的数据采集同步ETL工具,提供数据采集、数据清洗转换处理和数据入库功能。支持在Elasticsearch、关系数据库(mysql,oracle,db2,sqlserver、达梦等)、Mongodb、HBase、Hive、Kafka、文本文件、SFTP/FTP多种数据源之间进行海量数据采集同步;支持本地/ftp日志文件实时增量采集到kafka/elasticsearch/database;支持根据字段进行数据记录切割;支持根据文件路径信息将不同文件数据写入不同的数据库表

提供自定义处理采集数据功能,可以按照自己的要求将采集的数据处理到目的地,支持数据来源包括:database,elasticsearch,kafka,mongodb,hbase,file,ftp等,想把采集的数据保存到什么地方,由自己实现CustomOutPut接口处理即可。

Elasticsearch版本兼容性:支持各种Elasticsearch版本(1.x,2.x,5.x,6.x,7.x,+)之间相互数据迁移

v6.3.9 功能改进

  1. 修复db-es数据同步时,指定了任务拦截器,但是处理任务上下文中没有指定任务级别的sql语句时空指针问题
  2. bboss安全过滤器改造:增加xss攻击和敏感词攻击策略配置
  3. 数据采集作业运行工具改进:完善运行容器工具,增加启动bootrap类,负责运行、停止、重启mainclass,并将mainclass运行、停止、重启过程中的日志、异常输出到log日志文件

导入微服务容器组件包:由bboss-rt调整为bboss-bootstrap-rt

gradle坐标

group: 'com.bbossgroups', name: 'bboss-bootstrap-rt', version: "5.8.5",transitive: true

maven坐标

  <dependency>  
      <groupId>com.bbossgroups</groupId>  
      <artifactId>bboss-bootstrap-rt</artifactId>  
      <version>5.8.5</version>  
  </dependency>  
  1. 运行容器工具改进:停止进程时需等待进程停止完毕再退出
  2. 敏感信息处理:对httpproxy和elasticsearch客户端输出日志中的用户口令信息进行脱敏处理
  3. 兼容老版本升级到最新的数据同步框架:自动创建增量状态表和增量状态历史表中新增的字段
  4. 修复httpproxy问题:停止默认连接池时,没有清空默认配置对象
  5. 完善数据同步异常处理机制:捕获插件初始化异常并输出到日志文件

bboss数据采集ETL案例大全

https://esdoc.bbossgroups.com/#/bboss-datasyn-demo

 

展开阅读全文
28 收藏
分享
加载中
最新评论 (2)
天猫可以跑得动吗?
2021-12-06 16:10
0
回复
举报
感谢大佬分享,已收藏到自己的网站,慢慢学习,感谢楼主!
2021-12-06 16:03
0
回复
举报
更多评论
3 评论
28 收藏
分享
返回顶部
顶部