分布式工作流任务调度系统 Apache DolphinScheduler

分布式工作流任务调度系统 Apache DolphinScheduler

Apache-2.0
Java 查看源码»
跨平台
2019-04-09
h4cd
Apache DolphinScheduler 正在参加 2019 年度最受欢迎开源中国软件评选,请投票支持!
Apache DolphinScheduler 在 2019 年度最受欢迎开源中国软件评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票赢奖品
已投票

Apache DolphinScheduler(Incubator,原Easy Scheduler)是一个分布式数据工作流任务调度系统,主要解决数据研发ETL错综复杂的依赖关系,而不能直观监控任务健康状态等问题。Easy Scheduler以DAG流式的方式将Task组装起来,可实时监控任务的运行状态,同时支持重试、从指定节点恢复失败、暂停及Kill任务等操作。

设计特点: 一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。 其主要目标如下:

  • 以DAG图的方式将Task按照任务的依赖关系关联起来,可实时可视化监控任务的运行状态
  • 支持丰富的任务类型:Shell、MR、Spark、SQL(mysql、postgresql、hive、sparksql),Python,Sub_Process、Procedure等
  • 支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复,同时支持失败重试/告警、从指定节点恢复失败、Kill任务等操作
  • 支持工作流优先级、任务优先级及任务的故障转移及任务超时告警/失败
  • 支持工作流全局参数及节点自定义参数设置
  • 支持资源文件的在线上传/下载,管理等,支持在线文件创建、编辑
  • 支持任务日志在线查看及滚动、在线下载日志等
  • 实现集群HA,通过Zookeeper实现Master集群和Worker集群去中心化
  • 支持对Master/Worker cpu load,memory,cpu在线查看
  • 支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计
  • 支持补数
  • 支持多租户
  • 支持国际化
  • 还有更多等待伙伴们探索

与同类调度系统的对比

系统部分截图

 

的码云指数为
超过 的项目
加载中

评论(20)

乌合之众
乌合之众
非常棒的软件,文档也很完善,精品. 想问一下您,您的文档(http://106.75.43.194:8888/easyscheduler/doc.html)是使用什么软件制作的呢?谢谢
DolphinScheduler
DolphinScheduler 软件作者
gitbook
LeeUoo
LeeUoo
非常感谢!必须支持
DolphinScheduler
DolphinScheduler 软件作者
DolphinScheduler
DolphinScheduler 软件作者
DolphinScheduler的官网正式上线了: https://dolphinscheduler.apache.org , 后续的文档都将直接维护在官网上哈!欢迎关注!
DolphinScheduler
DolphinScheduler 软件作者
EasyScheduler在线体验地址更新为:http://106.75.43.194:8888
DolphinScheduler
DolphinScheduler 软件作者
本周发布一个大版本1.1.0😄
DolphinScheduler
DolphinScheduler 软件作者
1.0.3已经发布了!欢迎拍砖!
DolphinScheduler
DolphinScheduler 软件作者
Easy Scheduler 1.0.2版本发布了,更新内容如下: 1,调度通过token方式对外开放接口,可以通过api进行操作访问 2,可以指定任务运行的机器(组) 3,任务流程监控及Master、Worker、Zookeeper运行状态监控 4,工作流定义—增加流程超时报警 5,任务类型支持Oracle、CLICKHOUSE、SQLSERVER、IMPALA 6,Sql任务节点可以独立选取抄送邮件用户 7,用户管理—用户可以绑定队列,用户队列级别高于租户队列级别,如果用户队列为空,则寻找租户队列 8,租户编码允许纯数字或者下划线这种的编码 9,Python任务可指定版本
DolphinScheduler
DolphinScheduler 软件作者

引用来自“夏目nazimei”的评论

源码下载后,本地idea打开,要怎么启动调试

引用来自“lidongdai”的评论

因EasyScheduler中escheduler-rpc模块使用到Grpc,需要用到Maven编译生成所需要的类 ## 项目编译 将EasyScheduler源码下载导入Idea等开发工具后,首先转为Maven项目(右键点击后选择"Add Framework Support") * 执行编译命令: ``` mvn -U clean package assembly:assembly -Dmaven.test.skip=true ``` * 查看目录 正常编译完后,会在当前目录生成 target/escheduler-{version}/ ``` bin conf lib script sql install.sh ``` - 说明 ``` bin : 基础服务启动脚本 conf : 项目配置文件 lib : 项目依赖jar包,包括各个模块jar和第三方jar script : 集群启动、停止和服务监控启停脚本 sql : 项目依赖sql文件 install.sh : 一键部署脚本 ```
如果遇到问题,请添加我们微信:510570367
DolphinScheduler
DolphinScheduler 软件作者

引用来自“夏目nazimei”的评论

源码下载后,本地idea打开,要怎么启动调试
因EasyScheduler中escheduler-rpc模块使用到Grpc,需要用到Maven编译生成所需要的类 ## 项目编译 将EasyScheduler源码下载导入Idea等开发工具后,首先转为Maven项目(右键点击后选择"Add Framework Support") * 执行编译命令: ``` mvn -U clean package assembly:assembly -Dmaven.test.skip=true ``` * 查看目录 正常编译完后,会在当前目录生成 target/escheduler-{version}/ ``` bin conf lib script sql install.sh ``` - 说明 ``` bin : 基础服务启动脚本 conf : 项目配置文件 lib : 项目依赖jar包,包括各个模块jar和第三方jar script : 集群启动、停止和服务监控启停脚本 sql : 项目依赖sql文件 install.sh : 一键部署脚本 ```

易观开源项目 EasyScheduler 进入 Apache 基金会孵化器

近日,分布式任务调度引擎 DolphinScheduler(原 EasyScheduler)通过 Apache 软件基金会(ASF)的投票决议,正式成为 Apache 孵化器项目。 https://incubator.apache.org/projects/dolphins...

09/17 11:25

Easy Scheduler 1.1.0 Release发布,分布式工作流任务调度系统

Easy Scheduler Release 1.1.0 Easy Scheduler 1.1.0是1.1.x系列中的第一个版本。 新特性: [EasyScheduler-391] run a process under a specified tenement user [EasyScheduler-288] Feat...

08/06 08:56

Easy Scheduler 1.0.5 发布,分布式工作流任务调度系统

Easy Scheduler Release 1.0.5 Easy Scheduler 1.0.5是1.0.x系列中的第六个版本。 增强: [EasyScheduler-597] child process cannot extend father's receivers and cc 修复 [EasyScheduler...

07/18 16:40

Easy Scheduler 1.1.0 预览版发布,分布式工作流任务调度系统

Easy Scheduler Release 1.1.0-Preview Easy Scheduler 1.1.0-Preview 是 1.x 系列中的第六个版本。 新特性: [EasyScheduler-391] run a process under a specified tenement user [EasySch...

07/16 17:22

Easy Scheduler 1.0.4 发布,分布式工作流任务调度系统

Easy Scheduler Release 1.0.4 Easy Scheduler 1.0.4 发布了,这是1.x系列中的第五个版本。 新版本更新内容: 修复: [EasyScheduler-198] 流程定义列表根据定时状态和更新时间进行排序 [Eas...

06/26 10:38

Easy Scheduler 1.0.3 发布,分布式工作流任务调度系统

Easy Scheduler Release 1.0.3 Easy Scheduler 1.0.3 发布了,这是1.x系列中的第四个版本。 新版本更新内容: 新特性: [EasyScheduler-254] 流程定义删除和批量删除 [EasyScheduler-347] 任...

05/28 08:17

Easy Scheduler 1.0.2 发布,分布式工作流任务调度系统

Easy Scheduler Release 1.0.2 Easy Scheduler 1.0.2是1.x系列中的第三个版本。此版本增加了调度开放接口、worker分组(指定任务运行的机器组)、任务流程及服务监控以及对oracle、clickhouse等...

04/26 18:48

没有更多内容

加载失败,请刷新页面

没有更多内容

暂无问答

Apache ShardingSphere & DolphinScheduler联合技术沙龙

您是否想加入Apache社区并成为某个项目的Committer或PPMC,拥有一个apache邮箱呢? 你是否知道apache社区的Committer也可以是非代码贡献者? 本联合meetup旨在让对开源有兴趣的伙伴们有机会加...

11/25 18:47
8
0

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部