Apache DolphinScheduler 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
Apache DolphinScheduler 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
Apache DolphinScheduler 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
授权协议 Apache-2.0
开发语言 Java 查看源码 »
操作系统 跨平台
软件类型 开源软件
开源组织 Apache
地区 国产
投 递 者 h4cd
适用人群 未知
收录时间 2019-04-09

软件简介

Apache DolphinScheduler简介

Apache DolphinScheduler(Incubator,原Easy Scheduler)是一个可视化的分布式大数据工作流任务调度系统,DolphinScheduler 致力于“可视化操作工作流(任务)之间的依赖关系,并可视化监控整个数据处理过程。DolphinScheduler以有向无环图(DAG)的方式将任务组装起来,可实时监控任务的运行状态,同时支持重试、从指定节点恢复失败、暂停及Kill任务等操作。

DolphinScheduler的起源 - 需求决定

大数据任务调度需要解决以下痛点,市面上难以找到满足需求的开源大数据调度,这是DolphinScheduler诞生的原因

DolphinScheduler设计特点

 一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。 其主要目标如下:

  • 以DAG图的方式将Task按照任务的依赖关系关联起来,可实时可视化监控任务的运行状态
  • 支持丰富的任务类型:Shell、MR、Spark、SQL(mysql、postgresql、hive、sparksql),Python,Sub_Process、Procedure等
  • 支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复,同时支持失败重试/告警、从指定节点恢复失败、Kill任务等操作
  • 支持工作流优先级、任务优先级及任务的故障转移及任务超时告警/失败
  • 支持工作流全局参数及节点自定义参数设置
  • 支持资源文件的在线上传/下载,管理等,支持在线文件创建、编辑
  • 支持任务日志在线查看及滚动、在线下载日志等
  • 实现集群HA,通过Zookeeper实现Master集群和Worker集群去中心化
  • 支持对Master/Worker cpu load,memory,cpu在线查看
  • 支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计
  • 支持补数
  • 支持多租户
  • 支持国际化

系统部分截图

dag

data-source

home

他们正在使用 DolphinScheduler

目前已经有 1000 多家公司在使用 DolphinScheduler 作为大数据任务调度,部分案例如下(排名不分先后):

奖项

如何加入贡献

欢迎添加微信贡献者:easyworkflow,并告知想贡献即可

获得帮助

  1. 提交 issue
  2. 加入 Slack
  3. 官网 https://dolphinscheduler.apache.org
展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论

点击加入讨论🔥(51)
发表了资讯
04/25 15:10

新一代大数据调度 - Apache DolphinScheduler 3.0-alpha 重磅发布

2022 年 4 月 22 日,Apache DolphinScheduler 正式宣布 3.0.0 alpha 版本发布!此次版本升级迎来了自发版以来的最大变化,众多全新功能和特性为用户带来新的体验和价值。3.0.0-alpha 的关键字,总结起来是 “更快、更现代化、更强、更易维护”。 更快、更现代化:重构了 UI 界面,新 UI 不仅用户响应速度提高数十倍,开发者构建速度也提高数百倍,且页面布局、图标样式都更加现代化; 更强:带来了许多振奋人心的新功能,如数据...

0
12
发表了资讯
03/14 17:23

Apache DolphinScheduler 2.0.5 发布,Worker 容错流程优化

< img src="/img/2022.3.7/1.png"/> 今天,Apache DolphinScheduler 宣布 2.0.5 版本正式发布。此次版本进行了一些功能优化,如 Worker 的容错流程优化,在资源中心增加了重新上传文件的功能,并进行了若干 Bug 修复。 ##优化 ##优化 ###Worker 容错流程 2.0.5 版本优化了 worker 的容错流程,使得服务器由于压力过大导致 worker 服务中断时,可以正常将任务转移至其他worker 上继续执行,避免任务中断。 ###禁止运行任务页面标...

0
0
发表了资讯
02/18 14:49

直播报名启动 | 2022 年 Apache DolphinScheduler Meetup 首秀!

各位关注 Apache DolphinScheduler 的小伙伴们大家好呀!相信大家都已经从热闹的春节里回过神来,重新投入到忙碌的工作学习生活中去。海豚调度在这里祝福大家虎年大吉,万事顺利。 在这早春时节, Apache DolphinScheduler 于 2022 年的第一场 Meetup 也是即将到来,相信社区里的小伙伴早就已经翘首以盼了吧! 在此次的Meetup中,四位来自不同公司的嘉宾将会为我们讲述他们在使用 Apache DolphinScheduler 时的心得体会,相信不...

0
1
发表了资讯
01/12 12:00

DolphinScheduler 2.0.2 发布,WorkflowAsCode 动态、批量创建工作流

千呼万唤中,WorkflowAsCode 功能终于在 2.0.2 版本中如约上线,为有动态、批量创建和更新工作流需求的用户带来福音。 此外,新版本还新增企业微信告警群聊会话消息推送,简化了元数据初始化流程,并修复了旧版本中强制终止后服务重启失败,添加 Hive 数据源失败等问题。 01 新功能 1 WorkflowAsCode 首先在新功能上,2.0.2 版本重磅发布了 PythonGatewayServer, 这是一个 Workflow-as-code 的服务端,与 apiServer 等服务的启...

1
7
发表了资讯
01/07 11:03

DolphinScheduler 获评 2021 OSC 最受欢迎项目,白鲸开源获优秀中国开源原生创企奖!

近日,由 OSCHINA 举办的 「2021 OSC 中国开源项目」 评选活动公布了评选结果。 在广大用户和开源社区的喜爱和支持下,云原生分布式大数据调度系统 Apache DolphinScheduler 获评 2021 年度 「OSCHINA 人气指数 Top 50 开源项目」和「最受欢迎项目」,其商业运营公司白鲸开源科技也凭借出众的开源运营表现,获得 「优秀中国开源原生创企」 奖项。 获评最受欢迎项目奖项 今年,「2021 OSC 中国开源项目」活动设置了两轮投票环节,...

4
8
发表了资讯
2021/12/17 15:31

Apache DolphinScheduler 2.0.1 来了,一键升级、插件化终于实现!

好消息!Apache DolphinScheduler 2.0.1 版本今日正式发布! 本版本中,DolphinScheduler 经历了一场微内核+插件化的架构改进,70% 的代码被重构,一直以来备受期待的插件化功能也得到重要优化。此外,本次升级还有不少亮点,如一键升级至最新版本、注册中心“去 ZK 化”、新增任务参数传递功能等。 Apache DolphinScheduler 2.0.1 下载地址: https://dolphinscheduler.apache.org/zh-cn/download/download.html Apache Dolphi...

1
9
发表了资讯
2021/10/29 10:45

重构、插件化、性能提升 20 倍,DolphinScheduler 2.0 alpha 发布亮点太多!

社区的小伙伴们,好消息!经过 100 多位社区贡献者近 10 个月的共同努力,我们很高兴地宣布 Apache DolphinScheduler 2.0 alpha 发布。这是 DolphinScheduler 自进入 Apache 以来的首个大版本,进行了多项关键更新和优化,是 DolphinScheduler 发展中的里程碑。 DolphinScheduler 2.0 alpha 主要重构了 Master 的实现,大幅优化了元数据结构和处理流程,增加了 SPI 插件化等能力,在性能上提升 20 倍。同时,新版本设计了全新的...

12
15
发表了资讯
2021/10/26 14:18

【安全通告】关于 DolphinScheduler 漏洞情况的说明

【安全通报】 【影响程度:低】 Apache DolphinScheduler 社区邮件列表最近通告了 1 个漏洞,考虑到有很多用户并未订阅此邮件列表,我们特地在此进行情况说明: CVE-2021-27644 重要程度:低 影响范围:暴露服务在外网中、且内部账号泄露。如果无上述情况,用户可根据实际情况决定是否需要升级。 影响版本:<1.3.6 漏洞说明: 此问题是由于mysql connectorj 漏洞引起的,DolphinScheduler 登陆用户(未登录用户无法执行此操作,...

0
2
发表了资讯
2021/10/25 10:30

Apache DolphinScheduler 1.3.9 发布,新增 StandaloneServer

2021 年 10 月 22 日,Apache DolphinScheduler 正式发布 1.3.9 版本。时隔一个半月,在社区贡献者的共同努力下,Apache DolphinScheduler 1.3.9 为大家带来了 StandaloneServer,这是本版本的一项重大更新,也意味着其在易用性上又迈出了一步,详情将在下文介绍。另外,本次升级还修复了 1.3.8 的两个重要 bug。 1.3.9 下载地址:https://dolphinscheduler.apache.org/zh-cn/download/download.html 在本版中,主要的更新包括:...

3
2
发表了资讯
2021/09/15 17:58

Apache DolphinScheduler 1.3.8 Docker 镜像发布

小伙伴们 Apache DolphinScheduler 1.3.8 Docker发布 特别感谢:kdump同学 在 1.3.8 版本中,我们在 Docker&k8s 这里做了许多优化,Docker镜像支持ARM64,系统默认参数优化等等,同时对于一些用户体验的问题做了相关优化,欢迎关注这个版本。 Apache DolphinScheduler 1.3.8 docker更新说明 Feature/Update [#5405] [Improvement]Docker & K8s Improvement Plan Round 2 [#5858][Improvement][Docker] Docker image should sup...

0
2
发表了资讯
2021/09/07 13:05

新一代云原生可视化大数据调度系统 Apache DolphinScheduler 1.3.8 发布

在 1.3.8 版本中,我们在 Doker&k8s 这里做了许多优化,镜像支持多架构,尤其是 docker-compose [改进][Docker] Docker 镜像应该支持多架构,如 docker-compose 中的 arm64,系统默认参数优化等等,同时对于一些用户体验的问题做了相关优化,欢迎关注这个版本。 特别提醒 1.3.8 修复了一个 1.3 版本存在的一个重要的 BUG,就是补数日期计算错误的 BUG,对应的 issue [#6007][Bug][Worker] 修复补数日期计算错误的 BUG Feature/...

1
5
发表了资讯
2021/08/19 12:54

新一代大数据任务调度系统 Apache DolphinScheduler 1.3.7 发布

在1.3.7版本中,我们在Doker&k8s这里做了许多优化,比如提高python home的兼容性,镜像支持多架构,尤其是 docker-compose [改进][Docker] Docker 镜像应该支持多架构,如 docker-compose 中的 arm64,系统默认参数优化等等,同时对于一些用户体验的问题做了相关优化,欢迎关注这个版本。 Feature/Update [#5405][改进]Docker 和 K8s 改进计划第 2 轮 [#5858][改进][Docker] Docker 镜像支持多架构,如 docker-compose 中的 ar...

13
10
发表了资讯
2021/06/30 11:46

Apache DolphinScheduler 社区呼唤志愿者

DolphinScheduler是什么? Apache DolphinScheduler 是一个分布式、易扩展并带有强大的可视化界面的大数据工作流调度系统。 2021 年 03 月 18 日正式成为 Apache 顶级项目,是首个由国人主导并贡献到 Apache 基金会的大数据工作流领域的顶级项目。 DolphinScheduler 致力于在数据工作流编排中 “解决复杂的大数据任务依赖及触发关系,让各种任务开箱即用”。截止 2020 年 10 月,已有 400+ 公司在生产上使用。 我们需要你 Dolp...

1
3
2021/04/28 23:00

新一代大数据任务调度系统-Apache DolphinScheduler 1.3.6 发布

在1.3.6版本中,我们发布了一个重大Future,另外对于K8s以及Docker做了较大的改进,具体如下 1:支持接入SkyWalking 我们同Apache SkyWalking社区一起协作完成了DolphinScheduler的链路监控设计以及开发: 主要如下: -通信协议改造为支持链路跟踪header传递 -任务调度执行核心链路的跟踪 -jvm 指标自动采集,观测vm 状态 -日志输出到skywalking ,可在skywalking web在线查看日志,并与链路跟踪关联起来 感兴趣的同学可以根据[...

0
8
2021/04/09 08:22

官宣!DolphinScheduler 毕业成为 Apache 软件基金会顶级项目

全球最大的开源软件基金会 Apache 软件基金会(以下简称 Apache)于北京时间 2021 年 4 月 9 日在官方渠道宣布 Apache DolphinScheduler 毕业成为 Apache 顶级项目。这是首个由国人主导并贡献到 Apache 的大数据工作流调度领域的顶级项目。 DolphinScheduler™ 已经是联通、IDG、IBM、京东物流、联想、新东方、诺基亚、360、顺丰和腾讯等 400+ 公司在使用的分布式可视化大数据工作流调度系统。 DolphinScheduler 于 2019 年 8 ...

19
77
发表了资讯
2021/02/19 19:26

新一代工作流调度-Apache DolphinScheduler 1.3.5 Docker镜像发布

新一代大数据工作流调度 - Apache DolphinScheduler(incubator) 今天发布了 1.3.5 官方 Docker 镜像。在社区贡献者 chegnshiwen 的努力下, 1.3.5 版本的 Docker 镜像大约只有 1.3.4 版本的 1/2 , 现在只有大约 220M 啦,奥利给! 下面就带大家来 快速试用 DolphinScheduler 官方推荐以 docker-compose 的方式启动,这种方式需要先安装 docker-compose , docker-compose 的安装网上已经有非常多的资料,请自行安装即可。 1、下载...

6
26
发表了资讯
2021/02/14 19:59

Apache DolphinScheduler 1.3.5 发布,新一代大数据任务调度系统

新一代大数据任务调度 - Apache DolphinScheduler(incubator) 在经过社区 20 多位小伙伴的贡献与努力下于发布了 1.3.5 版本,1.3.5 作为 1.3.x 的 bug 修复版本,该版本修复了1.3.4中的十余处BUG,同时对于K8s以及Docker做了重点支持,感兴趣的同学可以重点关注下。 release note: Feature/Update [K8s] Support resource storage when fs.defaultFS=file:/// [Docker] Update readme [UI] Improve parameter name [UI] downl...

2
11
2021/01/19 18:30

新一代大数据任务调度系统 Apache DolphinScheduler 发布第一个官方 Docker 镜像

新一代大数据任务调度 - Apache DolphinScheduler(incubator) 在近期发布了其第一个官方 Docker 镜像。下面就带大家来 快速试用 DolphinScheduler 官方推荐以 docker-compose 的方式启动,这种方式需要先安装 docker-compose , docker-compose 的安装网上已经有非常多的资料,请自行安装即可。 1、下载源码 zip 包 - 请下载最新版本的源码包并进行解压 # 创建源码存放目录 mkdir -p /opt/soft/dolphinscheduler; cd /opt/soft/...

3
29
2020/12/31 10:03

Apache DolphinScheduler 1.3.4 发布,新一代大数据任务调度系统

新一代大数据任务调度 - Apache DolphinScheduler(incubator) 在经过社区 30 多位小伙伴的贡献与努力下于发布了 1.3.4 版本,1.3.4 作为 1.3.x 的 bug 修复版本,本次共修复了 1.3.3 发现的 10 多处 bug,其中多数 bug 是测试伙伴在极端环境下发现的。1.3.4 重要的修复需要关注下面这个: 1 个重要修复 现象: 任务实例(taskInstance) 状态更改错误:[#4084][server] fix taskInstance state change error taskInstance 状态从 ...

5
20
2020/11/18 22:40

Apache DolphinScheduler 1.3.3 发布,新一代大数据任务调度系统

新一代大数据任务调度 - Apache DolphinScheduler(incubator) 在经过社区 20 多位小伙伴的贡献与努力下于发布了 1.3.3 版本,1.3.3 作为 1.3.x 的 bug 修复版本,本次共修复了 1.3.2 发现的 30 多个bug,其中多数bug是测试伙伴在极端环境下发现的。1.3.x 重要的修复需要关注以下 3 个: 3 个重要修复: 1、现象:在任务执行的 worker 节点上发现异常: Too many open files #3618 原因: [worker] 由于已完成任务执行但未释放文...

6
12
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
发表了问答
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
51 评论
1.2K 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部
返回顶部
顶部