数据采集 ETL 工具 bboss-datatran v6.7.2 发布

来源: 投稿
作者: bboss
2022-08-15 09:27:00

数据采集 ETL 工具 bboss-datatran v6.7.2 发布,bboss-datatran 是一款基于 java 语言开发的数据采集同步工具,提供数据采集、数据清洗转换处理和数据入库功能,支持在 Elasticsearch、关系数据库 (mysql,oracle,db2,sqlserver、达梦等)、Mongodb、HBase、Hive、Kafka、文本文件 / 日志文件、excel 文件、csv 文件、SFTP/FTP、http/https 等多种数据源之间进行海量数据采集同步;支持数据实时增量和全量数据采集;提供了作业任务控制 API、作业监控 api,支持作业启动、暂停 (pause)、继续(resume)、停止控制机制;支持http jwt服务认证和数据签名。基于 bboss 可轻松定制一款属于自己的 ETL 管理工具。

v6.7.2 功能改进

  1. 数据同步bug修复:执行destroy方法销毁作业时空指针异常问题修复

  2. 数据同步改进:优化作业销毁机制

  3. 数据同步改进:优化filelog插件日志采集多行识别处理增量采集机制和未结束多行记录回滚机制

  4. 数据同步改进:优化kafka输入插件并行消息处理机制

数据同步作业开发视频教程:

https://www.bilibili.com/video/BV1xf4y1Z7xu

bboss 案例大全

https://esdoc.bbossgroups.com/#/bboss-datasyn-demo

Quick Start

https://esdoc.bbossgroups.com/#/quickstart

开发交流

https://www.bbossgroups.com/forum.html

bboss插件清单

输入插件

插件 插码名称 说明
DBInputConfig DB数据库输入插件 配置DB数据源、查询sql、查询sql文件路径及文件名称,支持各种关系数据库,hive
ElasticsearchInputConfig elasticsearch输出插件 配置elasticsearch数据源、queryDsl、queryDsl配置文件路径等
HttpInputConfig Http输入插件 配置http服务参数、服务地址、服务查询参数、ssl证书等
FileInputConfig 文件输入插件 对应文本类数据文件数据采集配置,源文件目录、Ftp/sftp配置
ExcelFileInputConfig excel文件输入插件 excel文件采集映射配置(忽略行数、excel列号与目标字段名称映射、列默认值配置),包括excel源文件目录、Ftp/sftp配置
HBaseInputConfig hbase输入插件 hbase连接配置、查询表配置、查询条件配置
MongoDBInputConfig mongodb输入插件 mongodb连接配置、查询表配置、查询条件配置
Kafka2InputConfig kafka输入插件 kafka消费端参数配置、主题配置、客户端消费组配置等
Kafka1InputConfig 低版本kafka输入插件 低版本kafka消费端参数配置、主题配置、客户端消费组配置等

输出插件

 

插件 插码名称 说明
DBOutputConfig 数据库输出插件 数据库地址配置、连接池配置、输出sql、更新sql、deletesql配置、sql文件路径配置
ElasticsearchOutputConfig Elasticsearch输出插件 elasticsearch地址配置、http连接池配置、账号口令配置、elasticsearch连接参数配置、Elasticsearch输出表配置
HttpOutputConfig http/https输出插件 http输出服务参数配置、连接参数配置、监控检查机制配置、ssl证书配置、输出服务地址配置
FileOutputConfig 文本文件输出插件 文本文件输出配置、文件切割记录数配置、文件行分隔符配置、文件名称生成规则配置、记录标题行配置
ExcelFileOutputConfig excel文件输出插件 Excel文件输出配置、列号与字段映射配置、标题配置、sheet配置、列标题配置、文件切割记录数配置、文件行分隔符配置、文件名称生成规则配置
Kafka2OutputConfig kafka输出插件 kafka输出参数配置、主题配置、记录序列化机制配置、记录生成器配置
Kafka1OutputConfig 低版本kafka输出插件 低版本kafka输出参数配置、主题配置、记录序列化机制配置、记录生成器配置
CustomOupputConfig 自定义输出插件 提供自定义处理采集数据功能,可以按照自己的要求将采集的数据处理到目的地,如需定制化将数据保存到特定的地方,可自行实现CustomOutPut接口处理即可
DummyOutputConfig dummy插件 调试作业使用,将采集的数据直接输出到控制台

bboss具备良好的扩展性,可以非常方便地扩展bboss数据采集插件。

 

展开阅读全文
23 收藏
分享
0 评论
23 收藏
分享
返回顶部
顶部