Apache DolphinScheduler 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
Apache DolphinScheduler 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
Apache DolphinScheduler 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」 !
Apache DolphinScheduler 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」「最积极运营项目」 !
Apache DolphinScheduler 获得 2020 年度 OSC 中国开源项目评选「最积极运营项目」 !
授权协议 Apache-2.0
开发语言 Java 查看源码 »
操作系统 跨平台
软件类型 开源软件
开源组织 Apache
地区 国产
投 递 者 h4cd
适用人群 未知
收录时间 2019-04-09

软件简介

Apache DolphinScheduler简介

Apache DolphinScheduler(Incubator,原Easy Scheduler)是一个可视化的分布式大数据工作流任务调度系统,DolphinScheduler 致力于“可视化操作工作流(任务)之间的依赖关系,并可视化监控整个数据处理过程。DolphinScheduler以有向无环图(DAG)的方式将任务组装起来,可实时监控任务的运行状态,同时支持重试、从指定节点恢复失败、暂停及Kill任务等操作。

 

DolphinScheduler的起源 - 需求决定

大数据任务调度需要解决以下痛点,市面上难以找到满足需求的开源大数据调度,这是DolphinScheduler诞生的原因

DolphinScheduler设计特点

 一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。 其主要目标如下:

  • 以DAG图的方式将Task按照任务的依赖关系关联起来,可实时可视化监控任务的运行状态
  • 支持丰富的任务类型:Shell、MR、Spark、SQL(mysql、postgresql、hive、sparksql),Python,Sub_Process、Procedure等
  • 支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复,同时支持失败重试/告警、从指定节点恢复失败、Kill任务等操作
  • 支持工作流优先级、任务优先级及任务的故障转移及任务超时告警/失败
  • 支持工作流全局参数及节点自定义参数设置
  • 支持资源文件的在线上传/下载,管理等,支持在线文件创建、编辑
  • 支持任务日志在线查看及滚动、在线下载日志等
  • 实现集群HA,通过Zookeeper实现Master集群和Worker集群去中心化
  • 支持对Master/Worker cpu load,memory,cpu在线查看
  • 支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计
  • 支持补数
  • 支持多租户
  • 支持国际化

与同类调度系统的对比

系统部分截图(1.2.0版本)

 

他们正在使用 DolphinScheduler

目前已经有 400 多家公司在使用 DolphinScheduler 作为大数据任务调度,部分案例如下(排名不分先后):

奖项

在线 Demo 试用

http://106.75.43.194:8888/

如何加入贡献

参与贡献

获得帮助

  1. 提交issue
  2. 先订阅邮件开发列表:订阅邮件列表, 订阅成功后发送邮件到dev@dolphinscheduler.apache.org.
展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (42)

加载中
demo账号还要申请。。。
前天 18:13
回复
举报
您好,请问工作流节点和节点之间可以传递参数吗?
04/06 10:22
回复
举报
Hello 你好,想问一下,DolphinScheduler和Activiti,JBPM这一类的任务调度框架有什么不同?
03/07 17:47
回复
举报
新一代大数据调度 - Apache DolphinScheduler Docker 1.3.5正式发布
02/23 08:13
回复
举报
您好,请问同一个工作流的节点和节点之间可以传递参数吗?
04/06 10:26
回复
举报
欢迎添加贡献者微信(easyworkflow),进入Apache DolphinScheduler的官方用户 8 群
01/25 11:08
回复
举报
花一分钟来试试 DolphinScheduler 的第一个官方Docker镜像吧: https://dolphinscheduler.apache.org/zh-cn/docs/1.3.4/user_doc/docker-deployment.html
01/22 17:26
回复
举报
打分: 力荐
DolphinScheduler 已经有 IBM、美团、腾讯、360 等 400 多家公司与机构在使用了,试用用户也已经超过 1000 人了
2020/09/19 17:34
回复
举报
打分: 力荐
欢迎关注"海豚调度"
2020/09/08 18:02
回复
举报
公众号
2020/09/10 11:54
回复
举报
大家如果有疑问的话,欢迎明天下午的在线meetup上直接对话开发者,现场答疑 https://mp.weixin.qq.com/s/yM8EECz61sEMnJvyziVELw
2020/09/04 22:44
回复
举报
视频回放及PPT地址:https://www.slidestalk.com/w/271 https://www.slidestalk.com/DolphinScheduler/DolphinSchedulerxIn3Plat62248?video https://www.slidestalk.com/DolphinScheduler/DolphinScheduler20200905?video
2020/09/08 18:47
回复
举报
部署了一个单机版本的小demo,想体验的伙伴,请访问 http://106.75.43.194:8888
2020/05/19 11:45
回复
举报
你好,支持系统间的通讯吗?我想在自己的系统里发布任务,并监听执行结果。
2020/09/04 17:05
回复
举报
有open api
2020/09/04 22:42
回复
举报
更多评论
前天 08:22

官宣!DolphinScheduler 毕业成为 Apache 软件基金会顶级项目

全球最大的开源软件基金会 Apache 软件基金会(以下简称 Apache)于北京时间 2021 年 4 月 9 日在官方渠道宣布 Apache DolphinScheduler 毕业成为 Apache 顶级项目。这是首个由国人主导并贡献到 Apache 的大数据工作流调度领域的顶级项目。 DolphinScheduler™ 已经是联通、IDG、IBM、京东物流、联想、新东方、诺基亚、360、顺丰和腾讯等 400+ 公司在使用的分布式可视化大数据工作流调度系统。 DolphinScheduler 于 2019 年 8 ...

14
43
发表了资讯
02/19 19:26

新一代工作流调度-Apache DolphinScheduler 1.3.5 Docker镜像发布

新一代大数据工作流调度 - Apache DolphinScheduler(incubator) 今天发布了 1.3.5 官方 Docker 镜像。在社区贡献者 chegnshiwen 的努力下, 1.3.5 版本的 Docker 镜像大约只有 1.3.4 版本的 1/2 , 现在只有大约 220M 啦,奥利给! 下面就带大家来 快速试用 DolphinScheduler 官方推荐以 docker-compose 的方式启动,这种方式需要先安装 docker-compose , docker-compose 的安装网上已经有非常多的资料,请自行安装即可。 1、下载...

6
26
发表了资讯
02/14 19:59

Apache DolphinScheduler 1.3.5 发布,新一代大数据任务调度系统

新一代大数据任务调度 - Apache DolphinScheduler(incubator) 在经过社区 20 多位小伙伴的贡献与努力下于发布了 1.3.5 版本,1.3.5 作为 1.3.x 的 bug 修复版本,该版本修复了1.3.4中的十余处BUG,同时对于K8s以及Docker做了重点支持,感兴趣的同学可以重点关注下。 release note: Feature/Update [K8s] Support resource storage when fs.defaultFS=file:/// [Docker] Update readme [UI] Improve parameter name [UI] downl...

2
11
01/19 18:30

新一代大数据任务调度系统 Apache DolphinScheduler 发布第一个官方 Docker 镜像

新一代大数据任务调度 - Apache DolphinScheduler(incubator) 在近期发布了其第一个官方 Docker 镜像。下面就带大家来 快速试用 DolphinScheduler 官方推荐以 docker-compose 的方式启动,这种方式需要先安装 docker-compose , docker-compose 的安装网上已经有非常多的资料,请自行安装即可。 1、下载源码 zip 包 - 请下载最新版本的源码包并进行解压 # 创建源码存放目录 mkdir -p /opt/soft/dolphinscheduler; cd /opt/soft/...

3
29
2020/12/31 10:03

Apache DolphinScheduler 1.3.4 发布,新一代大数据任务调度系统

新一代大数据任务调度 - Apache DolphinScheduler(incubator) 在经过社区 30 多位小伙伴的贡献与努力下于发布了 1.3.4 版本,1.3.4 作为 1.3.x 的 bug 修复版本,本次共修复了 1.3.3 发现的 10 多处 bug,其中多数 bug 是测试伙伴在极端环境下发现的。1.3.4 重要的修复需要关注下面这个: 1 个重要修复 现象: 任务实例(taskInstance) 状态更改错误:[#4084][server] fix taskInstance state change error taskInstance 状态从 ...

5
20
2020/11/18 22:40

Apache DolphinScheduler 1.3.3 发布,新一代大数据任务调度系统

新一代大数据任务调度 - Apache DolphinScheduler(incubator) 在经过社区 20 多位小伙伴的贡献与努力下于发布了 1.3.3 版本,1.3.3 作为 1.3.x 的 bug 修复版本,本次共修复了 1.3.2 发现的 30 多个bug,其中多数bug是测试伙伴在极端环境下发现的。1.3.x 重要的修复需要关注以下 3 个: 3 个重要修复: 1、现象:在任务执行的 worker 节点上发现异常: Too many open files #3618 原因: [worker] 由于已完成任务执行但未释放文...

6
12
2020/09/03 11:18

Apache DolphinScheduler 1.3.2 发布,性能提升 2~3 倍

引言 大数据任务调度作为大数据建设中的核心基础设施,在经过社区用户们长期的使用中,不少用户对调度也提出了很多新的要求,为此,Apache DolphinScheduler(Incubating)经过长达 5 个多月的辛苦努力, 终于发布了 1.3.2 正式版本。DolphinScheduler-1.3.2 有超过 30 名贡献者参与开发,性能较 1.2 版本有 2 ~ 3 倍的提升,相对 1.2 版本,1.3.x 增加了诸如 K8s支持、多目录管理等重要的新特性和新的任务类型。1.3.x 重要的改动...

15
29
2020/02/25 12:26

Apache DolphinScheduler 1.2.1 发布,分布式工作流任务调度系统

Apache DolphinScheduler 于2020年2月24日正式发布 1.2.1 版,发布内容如下: 新特性: [#1497] 通过 API 创建的工作流在前端展示时自动调整布局。 [#747] Worker server 运行日志脱敏。 [#1635] 配置文件适当合并。 [#1547] 节点内容编辑支持全屏缩放。 增强: [#184] 被工作流引用的 worker 不能被删除。 [#1441] 可创建包含 "." 的用户名。 [#839] 可切换 Spark 版本。 [#1511] 前后端编译文件合并。 [#1509] 去除 Master 和...

0
32
2020/01/03 12:10

Apache DolphinScheduler 1.2.0 发布,分布式可视化工作流任务调度系统

DolphinScheduler Release 1.2.0 Apache DolphinScheduler在2019年8月底获得全票通过成功进入Apache孵化器后,经过长达4个月后,终于迎来了自己的第一个Apache版本 - 1.2.0,本次发版包括以下重要更新 新特性: 支持PostgreSql、Mysql等多种数据库,添加Postgre性能监控 添加Flink和Http任务类型支持 添加跨项目依赖支持 添加流程定义导出和导入功能 添加CI自动编译检查 完善代码注释 为Common模块添加java doc文档 增强: 将b...

6
75
发表于AI & 大数据专区
2019/09/17 11:25

易观开源项目 EasyScheduler 进入 Apache 基金会孵化器

近日,分布式任务调度引擎 DolphinScheduler(原 EasyScheduler)通过 Apache 软件基金会(ASF)的投票决议,正式成为 Apache 孵化器项目。 https://incubator.apache.org/projects/dolphinscheduler.html 根据 ASF 邮件列表,在包含 11 个约束性投票(binding votes)和 2 个无约束性投票(non-binding votes)的投票程序中,参与者全部持赞同意见,无弃权票和反对票,投票顺利通过。 DolphinScheduler 是由国内易观公司开源的...

21
56
2019/08/06 08:56

Easy Scheduler 1.1.0 Release发布,分布式工作流任务调度系统

Easy Scheduler Release 1.1.0 Easy Scheduler 1.1.0是1.1.x系列中的第一个版本。 新特性: [EasyScheduler-391] run a process under a specified tenement user [EasyScheduler-288] Feature/qiye_weixin [EasyScheduler-189] Kerberos等安全支持 [EasyScheduler-398]管理员,有租户(install.sh设置默认租户),可以创建资源、项目和数据源(限制有一个管理员) [EasyScheduler-293]点击运行流程时候选择的参数,没有地方可查...

9
40
2019/07/18 16:40

Easy Scheduler 1.0.5 发布,分布式工作流任务调度系统

Easy Scheduler Release 1.0.5 Easy Scheduler 1.0.5是1.0.x系列中的第六个版本。 增强: [EasyScheduler-597] child process cannot extend father's receivers and cc 修复 [EasyScheduler-516] The task instance of MR cannot stop in some cases [EasyScheduler-594] soft kill task 后 进程依旧存在(父进程 子进程) 感谢: 最后但最重要的是,没有以下伙伴的贡献就没有新版本的诞生: Baoqi, jimmy201602, samz406, peter...

0
41
2019/07/16 17:22

Easy Scheduler 1.1.0 预览版发布,分布式工作流任务调度系统

Easy Scheduler Release 1.1.0-Preview Easy Scheduler 1.1.0-Preview 是 1.x 系列中的第六个版本。 新特性: [EasyScheduler-391] run a process under a specified tenement user [EasyScheduler-288] Feature/qiye_weixin [EasyScheduler-189] Kerberos 等安全支持 [EasyScheduler-398] 管理员,有租户(install.sh设置默认租户),可以创建资源、项目和数据源(限制有一个管理员) [EasyScheduler-293] 点击运行流程时候选择...

3
43
2019/06/26 11:23

Easy Scheduler 1.0.4 发布,分布式工作流任务调度系统

Easy Scheduler Release 1.0.4 Easy Scheduler 1.0.4 发布了,这是1.x系列中的第五个版本。 新版本更新内容: 修复: [EasyScheduler-198] 流程定义列表根据定时状态和更新时间进行排序 [EasyScheduler-419] 修复在线创建文件,hdfs文件未创建,却返回成功 [EasyScheduler-481]修复job不存在定时无法下线的问题 [EasyScheduler-425] kill任务时增加对其子进程的kill [EasyScheduler-422] 修复更新资源文件时更新时间和大小未更新...

7
48
2019/05/28 08:17

Easy Scheduler 1.0.3 发布,分布式工作流任务调度系统

Easy Scheduler Release 1.0.3 Easy Scheduler 1.0.3 发布了,这是1.x系列中的第四个版本。 新版本更新内容: 新特性: [EasyScheduler-254] 流程定义删除和批量删除 [EasyScheduler-347] 任务依赖增加“今日” [EasyScheduler-273] sql任务添加title [EasyScheduler-247] API在线文档 [EasyScheduler-319] 单机容错 [EasyScheduler-253] 项目增加流程定义统计和运行流程实例统计 [EasyScheduler-292] 启用SSL的邮箱发送邮件 [E...

2
57
2019/04/26 18:48

Easy Scheduler 1.0.2 发布,分布式工作流任务调度系统

Easy Scheduler Release 1.0.2 Easy Scheduler 1.0.2是1.x系列中的第三个版本。此版本增加了调度开放接口、worker分组(指定任务运行的机器组)、任务流程及服务监控以及对oracle、clickhouse等的支持,具体如下: 新特性: [EasyScheduler-79] 调度通过token方式对外开放接口,可以通过api进行操作 [EasyScheduler-138] 可以指定任务运行的机器(组) [EasyScheduler-139] 任务流程监控及Master、Worker、Zookeeper运行状态监控 [E...

4
49
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
2020/09/10 07:27

DolphinScheduler源码分析

本文是基于1.2.0版本进行分析,与最新版本的实现有一些出入,还请读者辩证的看待本源码分析。具体细节可能描述的不是很准确,仅供参考。 1.源码版本 DolphinScheduler-1.2.0版本 2.技术框架 所有模块均采用比较流行的SpringBoot框架 3.架构图 4.重要概念 4.1流程定义 在DolphinScheduler中,作业的DAG被命名为“流程定义”。 4.2流程实例 流程实例是流程定义的实例化,可以通过手动启动或定时调度生成,流程定义每运行一次,产生...

1
2
发表了博客
2020/01/07 16:33

DolphinScheduler源码分析

DolphinScheduler源码分析 本博客是基于1.2.0版本进行分析,与最新版本的实现有一些出入,还请读者辩证的看待本源码分析。具体细节可能描述的不是很准确,仅供参考 源码版本 1.2.0 技术框架 所有模块均采用比较流行的SprintBoot框架 架构图 重要概念 流程定义 在DolphinScheduler中,作业的DAG被命名为“流程定义”。 挺不可思议的。 流程实例 流程实例是流程定义的实例化,可以通过手动启动或定时调度生成,流程定义每运行一次,...

0
1
2020/10/10 21:25

Apache DolphinScheduler 是如何诞生的

点击上方蓝字关注ALC Beijing 作者 | 代立冬,李岗 排版 | 开源之道小助理 Apache DolphinScheduler,简称”DS”, 中文名 “小海豚调度”(海豚聪明、人性化,又左右脑可互相换班,终生不用睡觉)。希望 DolphinScheduler 就像它的名字一样,成为一个“开箱即用”的灵活易用的调度系统。 1 概述 DAG 全称 Directed Acyclic Graph,简称 DAG。工作流中的Task任务以有向无环图的形式组装起来,从入度为零的节点进行拓扑遍历,直到无...

0
1
发表了博客
2020/09/16 19:17

分布式调度系统-DolphinScheduler

原文转载地址: 头条号 IT思维 前提 数据平台(BP)建设过程中,会涉及大量的数据采集、处理、计算等方面的工作,而且随着需求的增加要承担的任务越来越多。迫切需要一个简单易用、支持可视化管理的调度系统,考虑到要将现有的定时任务从crontab快速迁移到新调度系统,且要易于部署管理,方便扩展,支持HA等要求。调研了多款调度系统如airflow、azkaban、gocron、DolphinScheduler等系统。几个调度平台之间各有亮点,最终选择了...

0
0
2020/08/03 18:21

Apache DolphinScheduler 诞生记

# Apache DolphinScheduler 诞生记 DolphinScheduler,简称”DS”, 中文名 “小海豚调度”(海豚聪明、人性化,又左右脑可互相换班,终生不用睡觉)。希望 DolphinScheduler 就像它的名字一样,成为一个“开箱即用”的灵活易用的调度系统。 ## 1概述 DAG 全称Directed Acyclic Graph,简称DAG。工作流中的Task任务以有向无环图的形式组装起来,从入度为零的节点进行拓扑遍历,直到无后继节点为止。 Apache DolphinScheduler(目...

0
0
发表了博客
2020/08/03 16:56

Apache DolphinScheduler 是如何诞生的

点击上方蓝字关注ALC Beijing 作者 | 代立冬,李岗 排版 | 开源之道小助理 Apache DolphinScheduler,简称”DS”, 中文名 “小海豚调度”(海豚聪明、人性化,又左右脑可互相换班,终生不用睡觉)。希望 DolphinScheduler 就像它的名字一样,成为一个“开箱即用”的灵活易用的调度系统。 1 概述 DAG 全称 Directed Acyclic Graph,简称 DAG。工作流中的Task任务以有向无环图的形式组装起来,从入度为零的节点进行拓扑遍历,直到无...

0
0
发表了博客
2020/09/20 08:15

Apache DolphinScheduler高危漏洞

1、Apache DolphinScheduler概述 Apache DolphinScheduler(Incubator,原Easy Scheduler)是一个分布式数据工作流任务调度系统,主要解决数据研发ETL错综复杂的依赖关系,而不能直观监控任务健康状态等问题。Easy Scheduler以DAG流式的方式将Task组装起来,可实时监控任务的运行状态,同时支持重试、从指定节点恢复失败、暂停及Kill任务等操作。 以下是Apache DolphinScheduler架构图: 2、Apache DolphinScheduler系统图 3、漏洞...

0
0
发表了博客
2020/09/15 15:07

【安全通报】DolphinScheduler 漏洞情况说明

Apache DolphinScheduler 社区邮件列表最近通告了 2 个漏洞,考虑到有很多用户并未订阅此邮件列表,我们特地在此进行情况说明: CVE-2020-11974[1] 漏洞 (CVE-2020-11974[1]) 是与 mysql connectorj 远程执⾏代码漏洞有关,mysql connectorj 漏洞详情请参见: https://securityonline.info/mysql-connectorj-remote-code-execution-vulnerability/ 当选择 MySQL 作为DolphinScheduler 的数据库时,攻击者可通过 jdbc connector...

0
0
发表了博客
2020/08/31 14:02

Apache DolphinScheduler集群部署方案

集群部署(Cluster) DolphinScheduler集群部署分为后端部署和前端部署两部分: 1、后端部署 1.1 : 基础软件安装(必装项请自行安装) PostgreSQL (8.2.15+) or Mysql (5.6或者5.7系列) : 两者任选其一即可 JDK (1.8+) : 必装,请安装好后在/etc/profile下配置 JAVA_HOME 及 PATH 变量 ZooKeeper (3.4.6+) :必装 Hadoop (2.6+) or MinIO :选装,如果需要用到资源上传功能,可以选择上传到Hadoop or MinIO上 注意:DolphinSchedule...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
暂无内容
42 评论
1K 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部