Schedulis 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
Schedulis 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
Schedulis 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」 !
Schedulis 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」「最积极运营项目」 !
Schedulis 获得 2020 年度 OSC 中国开源项目评选「最积极运营项目」 !

软件简介

Schedulis 是一个基于 LinkedIn 的开源项目 Azkaban 开发的工作流任务调度系统。该调度系统具备高性能,高可用(去中心化多调度中心和多执行器)和多租户资源隔离等金融级特性;现已被集成到数据应用开发门户 DataSphere Studio

Schedulis 支持常规的 Command Shell 和 Linkis(HadoopMR、 Hive、Spark、Sqoop、 Python)大数据任务;同时还支持特色的数据检查和工作流之间的依赖任务;支持完善的告警和工作流执行策略;提供多种类型的参数设置,动态全局变量和简单易用的 UI。

与 DataSphere Studio 和 Linkis 的对接

DataSphere Studio 可以将编辑好的工作流一键发布到 Schedulis 进行调度,而 Schedulis 也实现了 Linkis 插件,用于向 Linkis 提交任务,这样使得 Schedulis 与 DataSphere Studio 和 Linkis 能够无缝衔接,从而实现数据应用开发全流程的连贯顺滑用户体验。

与业界现有调度系统的比较

下面将 Schedulis 和业界现有的调度系统做了个对比,包括:Azkaban, Dolphin, Airflow 和 Xxl-job

模块 描述 Schedulis Azkaban Dolphin Airflow Xxl-job
HA 调度中心高可用 支持 不支持 支持 不支持 支持
资源管理 执行节点多租户 支持 不支持 支持 不支持 不支持
运行视图 工作流结构图(DAG) 清晰显示任务状态,任务类型,工作流状态,重试次数等关键信息 只显示工作流和任务状态 清晰显示任务状态,类型,重试次数,任务运行机器等关键信息 只显示任务状态 只显示任务状态
WeDataSphere整合 对DataSphere Studio和Linkis的支持 与DSS和Linkis无缝对接 不支持 不支持 不支持 不支持
特色功能 循环执行 支持 不支持 不支持 不支持 不支持
  灵活的工作流参数 支持不同级别多种设置方式的工作流参数 不支持 不支持 不支持 不支持
  hive表数据到达检查 支持 不支持 不支持 不支持 不支持
  工作流之间交互依赖 支持 不支持 不支持 不支持 不支持
  失败策略

支持任务失败暂停、跳过、重试、超时处理

不支持失败策略

支持任务超时处理

支持部分任务重跑策略

支持任务超时处理和失败重试

系统管理 用户管理 支持 不支持 支持 支持 不支持
展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (0)

加载中
更多评论
发表于DevOps专区
2020/12/28 19:38

微众开源 Schedulis 0.6.0 版本发布

Schedulis0.6.0 Schedulis 是一个基于LinkedIn 的开源项目 Azkaban 开发的工作流任务调度系统。该调度系统具备高性能,高可用(去中心化多调度中心和多执行器)和多租户资源隔离等金融级特性;现已被集成到数据应用开发门户 DataSphere Studio。 开源链接: https://github.com/WeBankFinTech/Schedulis Schedulis 0.6.0新版本特性 01 特性增强 调度策略/功能扩展 新增工作流循环执行调度策略,支持工作流串行循环执行,同时支持...

0
14
2020/05/15 11:19

Schedulis V1.0.0 发布--开源的金融级工作流调度方案

Schedulis 是微众银行基于 LinkedIn 的开源项目 Azkaban 开发的一款工作流任务调度系统,用于解决金融级场景下,大量批量作业任务的复杂依赖、灵活调度。 开源链接: gitee地址: https://gitee.com/WeBank/Schedulis ; github地址:https://github.com/WeBankFinTech/Schedulis 01 Schedulis 是什么? Schedulis 是一个分布式工作流任务调度系统。其支持常规的 Command Shell 和 Linkis(HadoopMR、 Hive、Spark、Sqoop、 Py...

2
64
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
2020/05/21 11:41

WeBank/Schedulis

简介 Schedulis 是一个基于 LinkedIn 的开源项目 Azkaban 开发的工作流任务调度系统。该调度系统具备高性能,高可用(去中心化多调度中心和多执行器)和多租户资源隔离等金融级特性;现已被集成到数据应用开发门户 DataSphere Studio。 Schedulis 支持常规的 Command Shell 和 Linkis(HadoopMR、 Hive、Spark、Sqoop、 Python)大数据任务;同时还支持特色的数据检查和工作流之间的依赖任务;支持完善的告警和工作流执行策略;...

0
0
发表于云计算专区
2020/12/25 22:11

Schedulis 0.6.0 版本发布

Schedulis 0.6.0 版本发布 Schedulis0.6.0 Schedulis 是一个基于LinkedIn 的开源项目 Azkaban 开发的工作流任务调度系统。该调度系统具备高性能,高可用(去中心化多调度中心和多执行器)和多租户资源隔离等金融级特性;现已被集成到数据应用开发门户 DataSphere Studio。 开源链接: https://github.com/WeBankFinTech/Schedulis Schedulis 0.6.0新版本特性 01 特性增强 调度策略/功能扩展 新增工作流循环执行调度策略,支持工...

0
0
发表于云计算专区
2020/05/22 07:00

​Schedulis 打造灵活完善的金融级工作流调度方案

Schedulis 打造灵活完善的金融级工作流调度方案 Schedulis是微众银行自研大数据平台套件WeDataSphere 的核心应用工具之一,为用户提供大数据平台批量任务调度的解决方案。 开源链接:https://github.com/WeBankFinTech/Schedulis Schedulis 是什么? 01 Schedulis 是一个金融级的分布式工作流任务调度系统。其支持常规的 Command Shell 和 Linkis大数据任务(HadoopMR、 Hive、Spark、Sqoop、Python等);同时支持数据依赖和信号...

0
2
2020/04/22 19:37

【喜讯】恭喜Linkis在github上的star数破1000

xing 星 xing 星 po 破 qian 千 就在今天,历时9个月的Linkis得到了第1000颗小星星! WeDataSphere 团队-深圳小伙伴 上海小伙伴 Linkis Linkis 是微众银行自主研发并开源的计算中间件,关注的是复杂分布式架构环境下,上层应用和底层计算(存储)引擎之间,各种类型的计算任务(如Spark、Hive和Python等)的连接、提交执行和管理问题。WeDataSphere 团队始终致力于通过开源开放的方式,推动计算中间件Linkis,成为便捷智能又强大...

0
1
2020/03/23 15:22

拥抱开源,共建未来--WeDataSphere 开发者社区首次线上Meetup活动回顾

“ 本周一,微众银行开源的一站式金融级大数据平台套件WeDataSphere(简称WDS),成功组织了首次开发者社区的线上meetup,邀请了包括BOSS直聘、天翼云、艾佳生活、海康威视、mobtech、招联金融等在内的18家WDS开源社区开发贡献者单位参会。” 会议就WDS开源项目Contributing 规范、已开源组件2020年开发规划、新组件开源计划等议题,进行了深入的沟通探讨,并对社区开发者提出的问题进行了回答讨论。具体议题如下:1. WeDataSp...

0
0
2020/03/22 23:25

拥抱开源,共建未来--WeDataSphere 开发者社区首次线上Meetup活动回顾

“ 本周一,微众银行开源的一站式金融级大数据平台套件WeDataSphere(简称WDS),成功组织了首次开发者社区的线上meetup,邀请了包括BOSS直聘、天翼云、艾佳生活、海康威视、mobtech、招联金融等在内的18家WDS开源社区开发贡献者单位参会。” 会议就WDS开源项目Contributing 规范、已开源组件2020年开发规划、新组件开源计划等议题,进行了深入的沟通探讨,并对社区开发者提出的问题进行了回答讨论。 具体议题如下: 1. WeDataS...

0
0
发表于云计算专区
2020/07/09 10:22

携手共进,开源可期:WeDataSphere开源社区与KubeSphere开源社区官宣合作

携手共进,开源可期 WeDataSphere开源社区与KubeSphere开源社区官宣合作 01 官宣 7月8日,WeDataSphere 开源社区与 KubeSphere 开源社区联合宣布两大社区正式开启合作。 据了解,微众银行 (WeBank) 大数据平台套件WeDataSphere产品团队及WeBank 人工智能部运维团队,与KubeSphere产品团队共同进行了多次线上沟通,深入交流了WeDataSphere的总体架构、技术理念以及对外合作模式。双方讨论了KubeSphere在WeBank 人工智能部主导开发...

0
0
发表于运维专区
2020/07/17 18:47

共建生态:WeDataSphere开源社区与KubeSphere开源社区官宣合作

携手共进,开源可期 WeDataSphere开源社区与KubeSphere开源社区官宣合作 01 官宣 7月8日,WeDataSphere 开源社区与 KubeSphere 开源社区联合宣布两大社区正式开启合作。 据了解,微众银行 (WeBank) 大数据平台套件WeDataSphere产品团队及WeBank 人工智能部运维团队,与KubeSphere产品团队共同进行了多次线上沟通,深入交流了WeDataSphere的总体架构、技术理念以及对外合作模式。双方讨论了KubeSphere在WeBank 人工智能部主导开发...

0
0
发表于云计算专区
2020/08/12 11:49

第二次线上MeetUp会后文章整理精细Q&A

第二次线上MeetUp完整Q&A整理 A: Linkis是不是Yarn框架的另一种实现吗? Q: (邸帅:WeDataSphere大数据平台套件建设及运营的微众银行大数据平台负责人兼Linkis项目负责人)不是。Linkis要解决的是计算治理层问题,构建计算中间件解耦上层应用工具和底层计算存储引擎,减轻应用工具层连接底层引擎负担,并增强管控和计算策略支持能力。其管理的只是引擎连接器(Engine Connector),而不是真正的底层引擎计算任务。YARN对于Lin...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
暂无内容
0 评论
35 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部