ETL & 流批一体化框架 bboss v7.1.8 发布

来源: 投稿
作者: bboss
2024-04-15 10:01:00

数据采集 ETL & 流批一体化框架 bboss v7.1.8 发布 --- 高效、稳定、快速、安全

bboss 是一个基于开源协议 Apache License 发布的开源项目,由开源团队 bboss 运维,主要由以下三部分构成:

  • Elasticsearch Highlevel Java Restclient , 一个高性能高兼容性的 Elasticsearch/Opensearch java orm客户端框架

  • 数据采集同步 ETL ,一个基于 java 语言实现数据采集作业的强大 ETL 工具,提供丰富的输入插件和输出插件,可以基于插件规范轻松扩展新的输入插件和输出插件

  • 流批一体化计算框架,提供灵活的数据指标统计计算流批一体化处理功能的简易框架,可以结合数据采集同步 ETL 工具,实现数据流处理和批处理计算,亦可以独立使用;计算结果可以保存到各种关系数据库、分布式数据仓库 Elasticsearch、Clickhouse 等,特别适用于数据体量和规模不大的企业级数据分析计算场景,具有成本低、见效快、易运维等特点,助力企业降本增效。

v7.1.8 功能改进

  1. Elasticsearch客户端改进:处理Elasticsearch 8以上版本_type兼容性问题

  2. Elasticsearch客户端改进:处理Elasticsearch 7.x,8.x 版本sql api兼容性问题

  3. 持久层改进:修复无法获取Clickhouse元数据问题

  4. 完善MongoDB CDC插件:解决新版MongoDB场景下修改数据不完整的场景下空指针异常问题

  5. 数据同步改进:tranresultset部分与记录数据处理相关的职能迁移到Record对象

  6. 增加MongoDB客户端自定义构建接口,方便业务侧自定义MongoDB客户端配置,使用案例

    mongoDBInputConfig.setCustomSettingBuilder(new CustomSettingBuilder() {
    @Override
    public void customSettingBuilder(MongoClientSettings.Builder builder, MongoDBConfig mongoDBConfig) {
    //自定义ssl配置
    /**             clientBuilder.applyToSslSettings(builder -> {
    *                 builder.invalidHostNameAllowed(true);
    *                 builder.enabled(true);
    *                 builder.context(sscontext);     
    *              });
    **/
    logger.info("Come to customSettingBuilder.....");
    
                     }
                 })

bboss 详细介绍文档

https://esdoc.bbossgroups.com/#/README

项目源码地址参考:源码下载和构建

Elasticsearch Highlevel Java Restclient 快速上手

https://esdoc.bbossgroups.com/#/quickstart

导入和使用 bboss ETL maven坐标

bboss 版本最新版本号从以下文档章节【1.1 在工程中导入 bboss maven 坐标获取:

https://esdoc.bbossgroups.com/#/db-es-tool

bboss ETL &流处理插件使用指南

https://esdoc.bbossgroups.com/#/datatran-plugins

bboss 实战视频

Elasticsearch Bboss Stream ETL 介绍视频

实时采集 Mysql binlog 增删改数据视频教程

bboss 流批一体化计算入门教程

Elasticsearch 导出 Excel 文件,按记录数切割 Excel 文件,解决单个文件导出数量过大问题

通用数据库管理工具 -- 支持关系数据库、Clickhouse、doris 等数据库管理

https://doc.bbossgroups.com/#/tools

展开阅读全文
点击引领话题📣 发布并加入讨论🔥
0 评论
5 收藏
分享
返回顶部
顶部