软件简介

Schedulis 是一个基于 LinkedIn 的开源项目 Azkaban 开发的工作流任务调度系统。该调度系统具备高性能,高可用(去中心化多调度中心和多执行器)和多租户资源隔离等金融级特性;现已被集成到数据应用开发门户 DataSphere Studio

Schedulis 支持常规的 Command Shell 和 Linkis(HadoopMR、 Hive、Spark、Sqoop、 Python)大数据任务;同时还支持特色的数据检查和工作流之间的依赖任务;支持完善的告警和工作流执行策略;提供多种类型的参数设置,动态全局变量和简单易用的 UI。

与 DataSphere Studio 和 Linkis 的对接

DataSphere Studio 可以将编辑好的工作流一键发布到 Schedulis 进行调度,而 Schedulis 也实现了 Linkis 插件,用于向 Linkis 提交任务,这样使得 Schedulis 与 DataSphere Studio 和 Linkis 能够无缝衔接,从而实现数据应用开发全流程的连贯顺滑用户体验。

与业界现有调度系统的比较

下面将 Schedulis 和业界现有的调度系统做了个对比,包括:Azkaban, Dolphin, Airflow 和 Xxl-job

模块 描述 Schedulis Azkaban Dolphin Airflow Xxl-job
HA 调度中心高可用 支持 不支持 支持 不支持 支持
资源管理 执行节点多租户 支持 不支持 支持 不支持 不支持
运行视图 工作流结构图(DAG) 清晰显示任务状态,任务类型,工作流状态,重试次数等关键信息 只显示工作流和任务状态 清晰显示任务状态,类型,重试次数,任务运行机器等关键信息 只显示任务状态 只显示任务状态
WeDataSphere整合 对DataSphere Studio和Linkis的支持 与DSS和Linkis无缝对接 不支持 不支持 不支持 不支持
特色功能 循环执行 支持 不支持 不支持 不支持 不支持
  灵活的工作流参数 支持不同级别多种设置方式的工作流参数 不支持 不支持 不支持 不支持
  hive表数据到达检查 支持 不支持 不支持 不支持 不支持
  工作流之间交互依赖 支持 不支持 不支持 不支持 不支持
  失败策略

支持任务失败暂停、跳过、重试、超时处理

不支持失败策略

支持任务超时处理

支持部分任务重跑策略

支持任务超时处理和失败重试

系统管理 用户管理 支持 不支持 支持 支持 不支持
展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (0)

加载中
更多评论
发表于开发技能专区
05/15 11:19

Schedulis V1.0.0 发布--开源的金融级工作流调度方案

Schedulis 是微众银行基于 LinkedIn 的开源项目 Azkaban 开发的一款工作流任务调度系统,用于解决金融级场景下,大量批量作业任务的复杂依赖、灵活调度。 开源链接: gitee地址: https://gitee.com/WeBank/Schedulis ; github地址:https://github.com/WeBankFinTech/Schedulis 01 Schedulis 是什么? Schedulis 是一个...

2
64
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
05/21 11:41

WeBank/Schedulis

简介 Schedulis 是一个基于 LinkedIn 的开源项目 Azkaban 开发的工作流任务调度系统。该调度系统具备高性能,高可用(去中心化多调度中心和多执行器)和多租户资源隔离等金融级特性;现已被集成到数据应用开发门户 DataSphere Studio。 Schedulis 支持常规的 Command Shell 和 Linkis(HadoopMR、 Hive、Spark、Sqoop、 ...

0
0
发表于云计算专区
05/22 07:00

​Schedulis 打造灵活完善的金融级工作流调度方案

Schedulis 打造灵活完善的金融级工作流调度方案 Schedulis是微众银行自研大数据平台套件WeDataSphere 的核心应用工具之一,为用户提供大数据平台批量任务调度的解决方案。 开源链接:https://github.com/WeBankFi...

0
1
04/22 19:37

【喜讯】恭喜Linkis在github上的star数破1000

xing 星 xing 星 po 破 qian 千 就在今天,历时9个月的Linkis得到了第1000颗小星星! WeDataSphere 团队-深圳小伙伴 上海小伙伴 Linkis Linkis 是微众银行自主研发并开源的计算中间件,关注的是复杂分布式架构环境...

0
0
发表于行业趋势专区
11/05 19:00

微众银行大数据平台建设方案

点击上方“蓝字”关注我们 微众银行在建立之初,就已经明确了整套分布式自主可控架构方案的核心,即在核心交易系统上,从“两地三中心”的主备架构,发展到现在的“三地八中心、多中心多活”的架构,进一步将科技...

0
0
03/23 15:22

拥抱开源,共建未来--WeDataSphere 开发者社区首次线上Meetup活动回顾

“ 本周一,微众银行开源的一站式金融级大数据平台套件WeDataSphere(简称WDS),成功组织了首次开发者社区的线上meetup,邀请了包括BOSS直聘、天翼云、艾佳生活、海康威视、mobtech、招联金融等在内的18家WDS开源...

0
0
03/22 23:25

拥抱开源,共建未来--WeDataSphere 开发者社区首次线上Meetup活动回顾

“ 本周一,微众银行开源的一站式金融级大数据平台套件WeDataSphere(简称WDS),成功组织了首次开发者社区的线上meetup,邀请了包括BOSS直聘、天翼云、艾佳生活、海康威视、mobtech、招联金融等在内的18家WDS开源...

0
0
发表于云计算专区
07/09 10:22

携手共进,开源可期:WeDataSphere开源社区与KubeSphere开源社区官宣合作

携手共进,开源可期 WeDataSphere开源社区与KubeSphere开源社区官宣合作 01 官宣 7月8日,WeDataSphere 开源社区与 KubeSphere 开源社区联合宣布两大社区正式开启合作。 据了解,微众银行 (WeBank) 大数据平台套件...

0
0
发表于运维专区
07/17 18:47

共建生态:WeDataSphere开源社区与KubeSphere开源社区官宣合作

携手共进,开源可期 WeDataSphere开源社区与KubeSphere开源社区官宣合作 01 官宣 7月8日,WeDataSphere 开源社区与 KubeSphere 开源社区联合宣布两大社区正式开启合作。 据了解,微众银行 (WeBank) 大数据平台套件...

0
0
发表于云计算专区
08/12 11:49

第二次线上MeetUp会后文章整理精细Q&A

第二次线上MeetUp完整Q&A整理 A: Linkis是不是Yarn框架的另一种实现吗? Q: (邸帅:WeDataSphere大数据平台套件建设及运营的微众银行大数据平台负责人兼Linkis项目负责人)不是。Linkis要解决的是计算治理层问题...

0
0
08/18 16:09

第二次线上MeetUp精细解读之Linkis在中国电信的实践与展望

第二次线上MeetUp精细解读之 Linkis在中国电信的实践与展望 ——中国电信天翼云大数据平台研发负责人王小刚 基于Linkis构建的大数据开发与服务平台,如何在保证系统的安全性和应用性的条件下做适配整合,是有挑战...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
暂无内容
0 评论
27 收藏
分享
返回顶部
顶部