ETL & 流批一体化框架 bboss v7.2.8 发布 --- 简版 Flink, 新增 Milvus向量数据库客户端组件和Milvus向量库输出插件。
v7.2.8 功能改进
-
数据交换功能扩展：增加向量数据库Milvus输出插件，支持在数据处理时，调用向量模型服务，对数据进行向量化处理，将向量化数据输出保存到向量库Milvus。
使用参考文档：milvus向量数据库输出插件
使用案例
调用的Langchain-Chatchat封装的xinference发布的模型服务
调用的xinference发布的模型服务
-
完善文件输出插件：修复重传失败文件到minio oss对象存储抛出的空指针问题
-
新增作业监控日志收集模块，日志级别分为：debug,info,warn,error,不输出日志，可以在脚本中调用对应的日志api，记录和上报日志，可以在作业监控查看记录的作业和作业任务日志； 日志采用异步批处理模式入库，不影响作业加工处理性能和速度；通过输出日志MetricsLogReport接口输出和记录相关配置，通过ImportBuilder进行设置,在所有的作业初始化、数据处理接口方法中调用日志接口方法记录和上报日志，使用参考文档：
-
Datastream改进：增加运行时调整监控日志级别方法
dataStream.resetMetricsLogLevel(newMetricsLogLevel); 日志级别定义如下： MetricsLogLevel { public static final int DEBUG = 1; public static final int INFO = 2; public static final int WARN = 3; public static final int ERROR = 4; /** * 忽略所有日志 */ public static final int NO_LOG = 5; } -
完善作业异常处理机制
-
增加一系列新接口
RecordGeneratorV1 接口参数调整为RecordGeneratorContext recordGeneratorContext，封装需要处理的数据和其他作业上下文信息
HeaderRecordGeneratorV1 接口参数调整为RecordGeneratorContext recordGeneratorContext，封装需要处理的数据和其他作业
CustomOutPutV1 接口参数调整为CustomOutPutContext customOutPutContext 封装需要处理的数据和其他作业上下文信息
-
增加Milvus客户端组件，提供对数据进行向量化处理和向量数据存储支持，使用参考文档：https://doc.bbossgroups.com/#/Milvus
数据采集 ETL 工具使用集成指南
https://esdoc.bbossgroups.com/#/db-es-tool
数据采集 & 流批一体化处理使用指南
https://esdoc.bbossgroups.com/#/etl-metrics
bboss-datatran 插件清单
https://esdoc.bbossgroups.com/#/datatran-plugins
基于源码构建 bboss
https://esdoc.bbossgroups.com/#/bboss-build
