分布式工作流任务调度系统 Easy Scheduler

Apache-2.0
Java 查看源码»
跨平台
2019-04-09
h4cd

Easy Scheduler是一个分布式数据工作流任务调度系统,主要解决数据研发ETL错综复杂的依赖关系,而不能直观监控任务健康状态等问题。Easy Scheduler以DAG流式的方式将Task组装起来,可实时监控任务的运行状态,同时支持重试、从指定节点恢复失败、暂停及Kill任务等操作。

设计特点: 一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。 其主要目标如下:

  • 以DAG图的方式将Task按照任务的依赖关系关联起来,可实时可视化监控任务的运行状态
  • 支持丰富的任务类型:Shell、MR、Spark、SQL(mysql、postgresql、hive、sparksql),Python,Sub_Process、Procedure等
  • 支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复,同时支持失败重试/告警、从指定节点恢复失败、Kill任务等操作
  • 支持工作流优先级、任务优先级及任务的故障转移及任务超时告警/失败
  • 支持工作流全局参数及节点自定义参数设置
  • 支持资源文件的在线上传/下载,管理等,支持在线文件创建、编辑
  • 支持任务日志在线查看及滚动、在线下载日志等
  • 实现集群HA,通过Zookeeper实现Master集群和Worker集群去中心化
  • 支持对Master/Worker cpu load,memory,cpu在线查看
  • 支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计
  • 支持补数
  • 支持多租户
  • 支持国际化
  • 还有更多等待伙伴们探索

与同类调度系统的对比

系统部分截图

 

的码云指数为
超过 的项目
加载中

评论(9)

lidongdai
lidongdai 软件作者

引用来自“夏目nazimei”的评论

源码下载后,本地idea打开,要怎么启动调试

引用来自“lidongdai”的评论

因EasyScheduler中escheduler-rpc模块使用到Grpc,需要用到Maven编译生成所需要的类 ## 项目编译 将EasyScheduler源码下载导入Idea等开发工具后,首先转为Maven项目(右键点击后选择"Add Framework Support") * 执行编译命令: ``` mvn -U clean package assembly:assembly -Dmaven.test.skip=true ``` * 查看目录 正常编译完后,会在当前目录生成 target/escheduler-{version}/ ``` bin conf lib script sql install.sh ``` - 说明 ``` bin : 基础服务启动脚本 conf : 项目配置文件 lib : 项目依赖jar包,包括各个模块jar和第三方jar script : 集群启动、停止和服务监控启停脚本 sql : 项目依赖sql文件 install.sh : 一键部署脚本 ```
如果遇到问题,请添加我们微信:510570367
lidongdai
lidongdai 软件作者

引用来自“夏目nazimei”的评论

源码下载后,本地idea打开,要怎么启动调试
因EasyScheduler中escheduler-rpc模块使用到Grpc,需要用到Maven编译生成所需要的类 ## 项目编译 将EasyScheduler源码下载导入Idea等开发工具后,首先转为Maven项目(右键点击后选择"Add Framework Support") * 执行编译命令: ``` mvn -U clean package assembly:assembly -Dmaven.test.skip=true ``` * 查看目录 正常编译完后,会在当前目录生成 target/escheduler-{version}/ ``` bin conf lib script sql install.sh ``` - 说明 ``` bin : 基础服务启动脚本 conf : 项目配置文件 lib : 项目依赖jar包,包括各个模块jar和第三方jar script : 集群启动、停止和服务监控启停脚本 sql : 项目依赖sql文件 install.sh : 一键部署脚本 ```
夏目nazimei
源码下载后,本地idea打开,要怎么启动调试
lidongdai
lidongdai 软件作者
分布式任务工作流调度EasyScheduler的研发计划:https://github.com/analysys/EasyScheduler/projects/1 #Easy Scheduler# 欢迎pr13
lidongdai
lidongdai 软件作者
EasyScheduler的工作计划:https://github.com/analysys/EasyScheduler/projects/1 , In Develop卡片下是1.0.2版本的功能,TODO卡片是待做事项(包括 feature ideas)
lidongdai
lidongdai 软件作者

引用来自“帅气可爱又任性的凯哥”的评论

登录不了啊,着急。。麻烦给个普通用户,体验下。
现在可以了,不知哪位伙伴把密码给改了,已改回去了
lidongdai
lidongdai 软件作者

引用来自“lidongdai”的评论

部署了一个单机版本的小demo,想体验的伙伴,请访问 http://52.82.13.76:8888 普通用户登录 demo/demo123 , 涉及多人修改的问题,管理员登录暂不开放!😄

引用来自“分享爱”的评论

http://52.82.13.76:8888 普通用户登录 demo/demo123 登录提示:user name or password error
现在可以了,不知哪位伙伴把密码给改了,已改回去了
分享爱
分享爱

引用来自“lidongdai”的评论

部署了一个单机版本的小demo,想体验的伙伴,请访问 http://52.82.13.76:8888 普通用户登录 demo/demo123 , 涉及多人修改的问题,管理员登录暂不开放!😄
http://52.82.13.76:8888 普通用户登录 demo/demo123 登录提示:user name or password error
登录不了啊,着急。。麻烦给个普通用户,体验下。
lidongdai
lidongdai 软件作者
部署了一个单机版本的小demo,想体验的伙伴,请访问 http://52.82.13.76:8888 普通用户登录 demo/demo123 , 涉及多人修改的问题,管理员登录暂不开放!😄

暂无资讯

暂无问答

分布式工作流任务调度系统Easy Scheduler正式开源

分布式工作流任务调度系统Easy Scheduler正式开源 1、背景 在多位技术小伙伴的努力下,经过近2年的研发迭代、内部业务剥离及重构,也经历一批种子用户试用一段时间后,EasyScheduler终于迎来...

04/08 23:31
598
0
EasyScheduler的架构原理及实现思路

系统架构设计 在对调度系统架构说明之前,我们先来认识一下调度系统常用的名词 1.名词解释 DAG: 全称Directed Acyclic Graph,简称DAG。工作流中的Task任务以有向无环图的形式组装起来,从入...

04/19 22:19
797
3

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部