数据采集 ETL 工具 bboss-datatran v6.7.0 发布
v6.7.0 功能改进
- 数据同步DB导出插件改进:支持为sql语句额外指定同步条件进行全量或者定时增量导入
定时按特定条件导入数据
importBuilder.setSql("select * from batchtest1 where optime >= #[start_optime] and optime < #[end_optime]");
importBuilder.addParam("start_optime", TimeUtil.parserDate("yyyy-MM-dd HH🇲🇲ss","2018-03-21 00:27:21"))
.addParam("end_optime",TimeUtil.parserDate("yyyy-MM-dd HH🇲🇲ss","2019-12-30 00:27:21"));
定时按特定条件增量导入数据
importBuilder.setSql("select * from batchtest1 where optime >= #[start_optime] and optime < #[end_optime] and collecttime > #[collecttime]");
importBuilder.setLastValueColumn("collecttime");
importBuilder.setLastValueType(ImportIncreamentConfig.TIMESTAMP_TYPE);
importBuilder.addParam("start_optime", TimeUtil.parserDate("yyyy-MM-dd HH🇲🇲ss","2018-03-21 00:27:21"))
.addParam("end_optime",TimeUtil.parserDate("yyyy-MM-dd HH🇲🇲ss","2019-12-30 00:27:21"));
使用参考文档：
https://esdoc.bbossgroups.com/#/db-es-datasyn
- 数据同步改进：完善作业监控输出日志信息，改造es 数据采集dsl扩展参数管理机制，其他插件亦可以使用这些扩展参数
- 数据同步架构重构：去掉所有源到目标builder，统一使用“ImportBuilder构建器+InputConfig+OutputConfig“来构建数据同步作业
- 数据同步改进：一次性作业支持延时时间配置和开始时间配置
- 数据同步改进：jdk timer作业支持设置作业运行截止时间，截止时间对quartz和xxl-job调度作业不起作用,对kafka作业、文件采集探针不起作用
- 数据同步改进：增加http输入和输出插件，使用参考文档： https://esdoc.bbossgroups.com/#/datatran-http
- 增加数据同步作业开发gradle模板工程 https://gitee.com/bboss/bboss-datatran-demo
bboss 案例大全
https://esdoc.bbossgroups.com/#/bboss-datasyn-demo
Quick Start
https://esdoc.bbossgroups.com/#/quickstart
开发交流
https://www.bbossgroups.com/forum.html
