微众开源 Schedulis 0.6.0 版本发布

来源: 投稿
作者: 微众开源
2020-12-28

Schedulis0.6.0

Schedulis 是一个基于LinkedIn 的开源项目 Azkaban 开发的工作流任务调度系统。该调度系统具备高性能,高可用(去中心化多调度中心和多执行器)和多租户资源隔离等金融级特性;现已被集成到数据应用开发门户 DataSphere Studio。

开源链接:

https://github.com/WeBankFinTech/Schedulis

Schedulis 0.6.0新版本特性

01

特性增强

调度策略/功能扩展 

  • 新增工作流循环执行调度策略,支持工作流串行循环执行,同时支持丰富的失败和告警策略,适用于需要一直不间断跑批的工作流。

  • 新增历史批次重跑的调度策略,支持工作流基于历史日期或者历史的某一时间段进行重跑,同时提供了丰富的时间配置方式,高效的并发能力,以及告警方式。

  • 新增多个维度的调度开关,系统级别的开关可关闭整个系统的调度功能,工作流级别的调度开关可对某一个工作流关闭调度。

工作流参数 

  • 支持在工作流运行时将某一个运行时的参数展示在页面上的执行历史表格内,方便区分同名工作流的不同批次。

  • 系统内置变量定义方式支持在properties中定义和使用。

UI交互优化 

  • 支持快速检索用户日志中的LinkisJobId和YARNId。

  • 支持对工作流结构图进行一键放大,优化对工作流进行编排,显示时间信息。

02 Bug修复

  • 修复在使用email告警的时候,页面配置告警邮箱不生效的问题。

  • 修复opendj 相关包在打包的时候无法打入依赖的问题。

03 未来展望

Schedulis0.6.0版本,重点解决了现有版本在工作流调度策略上的不完善,提供了历史重跑,循环执行两种调度策略,同时在参数定义展示上、调度功能上更加方便灵活,优化了现有UI在工作流中作业比较多的情况比较拥挤的情况;在后续的版本中,我们将会提供事件驱动,动态任务分片等高级特性,同时在架构上对现有系统进行优化,在易用性,故障转移,弹性伸缩等能力上推出更多的容器化特性,丰富云原生场景,希望可以和社区同学们一道共同努力,共同为Schedulis贡献。

04   云资源

项目jobtype插件的依赖和配置,打包下载链接:https://pan.baidu.com/s/1V0pyhzwRCNdVgDhkNYWUhQ 

提取码: hcnk (由于文件较大,所以放在网盘进行管理)

展开阅读全文
14 收藏
分享
加载中
更多评论
0 评论
14 收藏
分享
返回顶部
顶部