Apache DolphinScheduler 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
Apache DolphinScheduler 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
授权协议: Apache-2.0
开发语言: Java 查看源码 »
操作系统: 跨平台
开发厂商: Apache
收录时间: 2019-04-09
提 交 者: h4cd

Apache DolphinScheduler(Incubator,原Easy Scheduler)是一个分布式数据工作流任务调度系统,主要解决数据研发ETL错综复杂的依赖关系,而不能直观监控任务健康状态等问题。Easy Scheduler以DAG流式的方式将Task组装起来,可实时监控任务的运行状态,同时支持重试、从指定节点恢复失败、暂停及Kill任务等操作。

设计特点: 一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。 其主要目标如下:

  • 以DAG图的方式将Task按照任务的依赖关系关联起来,可实时可视化监控任务的运行状态
  • 支持丰富的任务类型:Shell、MR、Spark、SQL(mysql、postgresql、hive、sparksql),Python,Sub_Process、Procedure等
  • 支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复,同时支持失败重试/告警、从指定节点恢复失败、Kill任务等操作
  • 支持工作流优先级、任务优先级及任务的故障转移及任务超时告警/失败
  • 支持工作流全局参数及节点自定义参数设置
  • 支持资源文件的在线上传/下载,管理等,支持在线文件创建、编辑
  • 支持任务日志在线查看及滚动、在线下载日志等
  • 实现集群HA,通过Zookeeper实现Master集群和Worker集群去中心化
  • 支持对Master/Worker cpu load,memory,cpu在线查看
  • 支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计
  • 支持补数
  • 支持多租户
  • 支持国际化

与同类调度系统的对比

系统部分截图

 

他们正在使用 DolphinScheduler

目前已经有近 400 家公司在使用 DolphinScheduler 作为大数据任务调度,部分案例如下(排名不分先后):
这些公司或软件正在使用 DolphinScheduler

在线 Demo 试用

http://106.75.43.194:8888/
欢迎联系微信,开通 Demo 试用

如何加入贡献

参与贡献

获得帮助

  1. 提交issue
  2. 先订阅邮件开发列表:订阅邮件列表, 订阅成功后发送邮件到dev@dolphinscheduler.apache.org.
展开阅读全文

代码

的 Gitee 指数为
超过 的项目

Apache DolphinScheduler 的相关博客

DolphinScheduler源码分析

本文是基于1.2.0版本进行分析,与最新版本的实现有一些出入,还请读者辩证的看待本源码分析。具体细节可能描述的不是很准确,...

DolphinScheduler源码分析

DolphinScheduler源码分析 本博客是基于1.2.0版本进行分析,与最新版本的实现有一些出入,还请读者辩证的看待本源码分析。具体...

Apache DolphinScheduler 是如何诞生的

点击上方蓝字关注ALC Beijing 作者 | 代立冬,李岗 排版 | 开源之道小助理 Apache DolphinScheduler,简称”DS”, 中文名 “小...

分布式调度系统-DolphinScheduler

原文转载地址: 头条号 IT思维 前提 数据平台(BP)建设过程中,会涉及大量的数据采集、处理、计算等方面的工作,而且随着需求...

Apache DolphinScheduler 诞生记

Apache DolphinScheduler 诞生记 DolphinScheduler,简称”DS”, 中文名 “小海豚调度”(海豚聪明、人性化,又左右脑可互相换...

Apache DolphinScheduler 是如何诞生的

点击上方蓝字关注ALC Beijing 作者 | 代立冬,李岗 排版 | 开源之道小助理 Apache DolphinScheduler,简称”DS”, 中文名 “小...

Apache DolphinScheduler(海豚调度)

Apache DolphinScheduler 是一个分布式去中心化,易扩展的可视化 DAG 工作流任务调度系统。致力于解决数据处理流程中错综复杂...

Apache DolphinScheduler高危漏洞

1、Apache DolphinScheduler概述 Apache DolphinScheduler(Incubator,原Easy Scheduler)是一个分布式数据工作流任务调度系统,...

【安全通报】DolphinScheduler 漏洞情况说明

Apache DolphinScheduler 社区邮件列表最近通告了 2 个漏洞,考虑到有很多用户并未订阅此邮件列表,我们特地在此进行情况说明...

Apache DolphinScheduler集群部署方案

集群部署(Cluster) DolphinScheduler集群部署分为后端部署和前端部署两部分: 1、后端部署 1.1 : 基础软件安装(必装项请自行安...

Apache DolphinScheduler 的相关问答

还没有任何问答,马上提问

评论 (35)

加载中
打分: 力荐
DolphinScheduler 已经有 IBM、美团、腾讯、360 等 400 多家公司与机构在使用了,试用用户也已经超过 1000 人了
09/19 17:34
回复
举报
打分: 力荐
欢迎关注"海豚调度"
09/08 18:02
回复
举报
公众号
09/10 11:54
回复
举报
大家如果有疑问的话,欢迎明天下午的在线meetup上直接对话开发者,现场答疑 https://mp.weixin.qq.com/s/yM8EECz61sEMnJvyziVELw
09/04 22:44
回复
举报
视频回放及PPT地址:https://www.slidestalk.com/w/271 https://www.slidestalk.com/DolphinScheduler/DolphinSchedulerxIn3Plat62248?video https://www.slidestalk.com/DolphinScheduler/DolphinScheduler20200905?video
09/08 18:47
回复
举报
部署了一个单机版本的小demo,想体验的伙伴,请访问 http://106.75.43.194:8888
05/19 11:45
回复
举报
你好,支持系统间的通讯吗?我想在自己的系统里发布任务,并监听执行结果。
09/04 17:05
回复
举报
有open api
09/04 22:42
回复
举报
请问这个可以在windows下部署吗
04/02 09:34
回复
举报
1.3.0可以支持,即将发布
05/19 11:53
回复
举报
请问 软件的核心功能是:大数据的任务调度 ? 可以这么理解吧 。 期待回复:)
01/04 19:35
回复
举报
嗯呢呢
01/05 11:23
回复
举报
阿里好几年前有个zeus,配合datax
02/27 00:37
回复
举报
好用吗,谁用过?
01/04 12:52
回复
举报
部分统计:Who is using DolphinScheduler : https://github.com/apache/incubator-dolphinscheduler/issues/57 已经有数百家公司在生产上使用
02/29 19:26
回复
举报
请订阅apache DolphinScheduler开发邮件列表: https://dolphinscheduler.apache.org/zh-cn/docs/user_doc/subscribe.html。所有最新信息都在邮件中呐
2019/12/10 16:13
回复
举报
非常棒的软件,文档也很完善,精品. 想问一下您,您的文档(http://106.75.43.194:8888/easyscheduler/doc.html)是使用什么软件制作的呢?谢谢
2019/11/20 13:36
回复
举报
gitbook
2019/11/29 21:00
回复
举报
非常感谢!必须支持
2019/10/16 12:13
回复
举报
2019/10/23 09:41
回复
举报
更多评论
35 评论
292 收藏
分享
返回顶部
顶部