ETL & 流批一体化框架 bboss v7.2.9 发布，新增 Rocketmq 支持

来源: 投稿

作者: bboss

2024-11-28 09:46:00

AI总结

体验【开源中国】全新APP，一站式掌握开源技术动态，即刻下载，开启您的开源技术探索之旅！

ETL & 流批一体化框架 bboss v7.2.9 发布 --- 简版 Flink,增加Rocketmq输入、输出插件,支持国产消息中间件，助力信创创新；增加向量数据库Milvus输入插件，结合Milvus输出插件，为向量数据库Milvus提供数据迁移和导入导出能力。

v7.2.9 功能改进

新增Rocketmq输入插件：从Rocketmq接收数据，支持同时设置多个topic主题，指定消息消费位置等参数；可以使用各种输出插件输出经过加工处理后的消息数据。
新增Rocketmq输出插件：从各种数据来源采集数据，经过加工处理后，通过Rocketmq输出插件将处理后的数据发送到Rocketmq
增加Milvus输入插件：支持全量或者增量从向量数据库Milvus采集数据到其他Milvus库，或者其他数据源
完善Kafka输入输出插件：完善kafk输入输出插件，初始化kafka客户端时不自动注册jvm shutdown hook
完善kafka输入插件：在数据中设置kafka消息元数据,包括topic、消息offset等信息
优化http微服务模块：调小http链接池健康检查数据源连接池数量，最小化心跳探测资源占用
指标计算改进：新增指标key对象MetricKey,将相关接口参数String metricKey调整为MetricKey metricKey；通过在MetricKey中设置指标key类型，可以根据指标key类型，为指标设置不同的时间维度字段或者进行其他处理
项目和案例源码jdk 18+兼容性调整，兼容jdk 18+版本
Gradle构建脚本兼容性调整，兼容gradle 8+版本
增加Rocketmq客户端组件，使用参考文档：https://doc.bbossgroups.com/#/Rocketmq

增量采集改进：增加将数字类型增量字段值标记为时间戳配置，如果标记为时间戳，那么increamentEndOffset配置将起作用,为时间戳增量查询增加一个查询截止时间条件：

    importBuilder.setLastValueType(ImportIncreamentConfig.NUMBER_TYPE);    
    importBuilder.setNumberTypeTimestamp(true);
    与以下方法配合一起使用（如果不设置increamentEndOffset，标识将不起作用）：
    /**
     *  对于有延迟的数据源，指定增量截止时间与当前时间的偏移量
     *  增量查询截止时间为：System.currenttime - increamentEndOffset
     *  对应的变量名称：getLastValueVarName()+"__endTime" 对应的值类型为long
     *  单位：秒
     * @return
     */
    importBuilder.setIncreamentEndOffset(10);