数据采集 ETL & 流批一体化框架 bboss v6.9.6 发布

来源: 投稿
作者: bboss
2023-05-29 09:21:00

图片

重磅功能发布

1. 提供基于 binlog的mysql增删改数据实时增量采集功能,新增mysql binlog输入采集插件,支持两种采集模式:监听master-slave模式和直接采集binlog日志文件模式,

可以扫码免费观看mysql binlog插件使用视频教程,了解采集作业开发、调测、构建配置部署实际操作过程

2. Elasticsearch输入插件增量采集支持LocalDateTime兼容性支持,支持纳秒级时间增量粒度

其他功能改进

  1. 优化kafka组件:增加弹性动态调整kafka消费线程功能

    使用参考文档:https://doc.bbossgroups.com/#/kafka

  2. Elasticsearch client增加msearch api

    使用参考文档:https://esdoc.bbossgroups.com/#/document-crud

  3. 处理持久层框架postgresql兼容性问题:设置预编译参数值可能导致的死循环问题

  4. Elasticsearch Client LocalDateTime/LocalDate/LocalTime json序列化支持

  5. Elasticsearch输入插件增量采集支持LocalDateTime兼容性支持,支持纳秒级时间增量粒度:

    importBuilder.setLastValueType(ImportIncreamentConfig.LOCALDATETIME_TYPE);//NUMBER_TYPE TIMESTAMP_TYPE LOCALDATETIME_TYPE

6. 数据库输出插件改进,支持根据规则设置不同的增删改sql语句,使用参考文档:

https://esdoc.bbossgroups.com/#/datatran-plugins

展开阅读全文
点击引领话题📣 发布并加入讨论🔥
0 评论
13 收藏
分享
返回顶部
顶部