Apache DolphinScheduler 1.3.3 发布,新一代大数据任务调度系统

新一代大数据任务调度 - Apache DolphinScheduler(incubator) 在经过社区 20 多位小伙伴的贡献与努力下于发布了 1.3.3 版本,1.3.3 作为 1.3.x 的 bug 修复版本,本次共修复了 1.3.2 发现的 30 多个bug,其中多数bug是测试伙伴在极端环境下发现的。1.3.x 重要的修复需要关注以下 3 个:

 3 个重要修复:

1、现象:在任务执行的 worker 节点上发现异常: Too many open files #3618

原因:

[worker] 由于已完成任务执行但未释放文件句柄,因此将打开太多文件。

[api] 删除流程实例级联删除任务日志时,log client 没有 close

解决:

https://github.com/apache/incubator-dolphinscheduler/pull/3075       https://github.com/apache/incubator-dolphinscheduler/pull/3971

2、现象:workermaster发送执行结果的时候,master刚好被挂掉,重启master后,工作流及任务状态一直为进行中,且工作流无法停止

原因: masterworker 异步交互,通信流程中遇到极端情况出现任务状态丢失问题

解决:

部分环节改为同步,具体修复请参考:https://github.com/apache/incubator-dolphinscheduler/pull/3748

 3、现象某些网络情况下,master submit task时,无法进行netty通信,task信息发送不到worker,等待很长时间之后,出现time out的异常,然后过一段儿时间就又会出现这种现象。 #3789

解决: 添加masterworker之间的心跳检测   PR #3913

其他 BUG FIX 请参考下列内容:

#3615 ] [master] 成功执行任务,但尚未提交下一个任务后,停止 master,工作流将失败
#4010 ] [master] 当条件节点失败时,过程状态为在容错后失败
[
#3929 ] [master/worker] 在 master 和 worker 容错之后,在成功执行任务实例后,流程实例失败
#3994 ] [Sql] 无法导入 sql/dolphinscheduler_mysql 的SQL文件 .sql
#3964 ] [api/ui] sub_process的超时警告未生效
#3974 ] [api/worker] 子进程不继承父进程的工作组
#3966 ] [master] 超时警告在 sub_process
#3958 ] [api]  文件中不生效,不应在以下子目录中成功创建文件授权文件的目录
#3618 ] [工作人员] 由于已完成任务执行但未释放文件句柄,因此将打开太多文件。
#3615 ] [master] 任务成功执行但下一个任务尚未提交后,停止 master,工作流程将失败。
#3843 ] [api] 当更新工作流定义名称已存在时,提示不友好。
#3924 ] [ui] 保存工作流程定义时,如果后端验证不成功,则保存弹出窗口将不会关闭。
#3789 ] [remote] 支持netty心跳以解决频道超时问题。
#3836 ] [api] verifyProcessDefinitionName错误消息
#3702 ] [api] 重新上传资源文件不会覆盖原始文件。此按钮无效
#3621 ] [master] 批量删除正在执行的流程实例后,master无法获得工作人员的反馈结果
#3617 ] [master]子任务容错后,生成了2个任务实例,该流程实例状态始终在执行
#3616 ] [master] 主机收到工作人员的结果后,主机就停止了。主服务器重新启动后,工作流状态始终在执行
#3573 ] [dao] 潜在的水平未经授权的访问
#3887 ] [ui] 资源文件列表和UDF列表数据的英文版未显示
#3702 ] [api ]重新上传资源文件不会覆盖原始文件。此按钮无效。
#3487 ] [API]创建具有多个线程的文件夹将导致多个相同的文件夹
#3493 ] [api]工作组管理ui无法显示创建时间和更新时间
#3549 ] [Server] [sqlTask​​]查询SQL中的别名列不生效
#3719 ] [api] 任务资源可以不可删除
#3548 ] [UI] 监控器量表显示空白,具有相同的pid错误
#3707 ] [ui] 如果选择,则无法取消工作流定义和工作流实例页面中的批处理删除功能
#3553 ] [ui] 编辑工作流程时,所选的连接线没有样式更改,但其他连接线变大
#3238 ] [docker] 无法在独立模式下的docker中创建文件夹
#3713 ]  [common] catfile方法流未关闭
#3258 ] [api] 无法获取创建时间和更新时间,报告DateTimeParseException

除了 Bug 修复外,本次也做了几处功能改进,参考以下内容:
#3720 ] [ui] js邮箱验证
#3843 ] [api]当更新工作流定义名称已存在时,提示不友好
#3131 ] [api]当新租户已存在时,提示不正确

1.3.3 版本经过测试伙伴的大量测试,修复了不少极端情况下可能出现问题的情况,十分推荐大家下载部署 1.3.3 版本

此外,1.3.3 具体变化请参考:https://github.com/apache/incubator-dolphinscheduler/releases/tag/1.3.3

1.3.3 下载地址https://dolphinscheduler.apache.org/zh-cn/docs/release/download.html

 

Apache DolphinScheduler 社区介绍

Apache DolphinScheduler 是一个非常多样化的社区,至今贡献者已100多名, 他们分别来自 30 多家不同的公司。 微信群用户近4000人。

部分用户案例(排名部分先后)

已经有近 400 多家企业和科研机构在使用 DolphinScheduler,来处理各类调度和定时任务,另有 1200 多家公司开通了海豚调度的试用:

 

Apache DolphinScheduler 能力

  • 以DAG图的方式将Task按照任务的依赖关系关联起来,可实时可视化监控任务的运行状态
  • 支持丰富的任务类型:Shell、MR、Spark、Flink、SQL(mysql、postgresql、hive、sparksql)、Python、Http、Sub_Process、Procedure等
  • 支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复,同时支持失败重试/告警、从指定节点恢复失败、Kill任务等操作
  • 支持工作流优先级、任务优先级及任务的故障转移及任务超时告警/失败
  • 支持工作流全局参数及节点自定义参数设置
  • 支持资源文件的在线上传/下载,管理等,支持在线文件创建、编辑
  • 支持任务日志在线查看及滚动、在线下载日志等
  • 实现集群HA,通过Zookeeper实现Master集群和Worker集群去中心化
  • 支持对Master/Worker cpu load,memory,cpu在线查看
  • 支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计
  • 支持补数
  • 支持多租户
  • 支持国际化

参与开源 - 加入 Apache DolphinScheduler

DolphinScheduler 社区参与贡献的方式,包括:

  • 文档
  • 翻译
  • 布道
  • 答疑
  • 测试
  • 代码
  • 实践文章
  • 会议分享等

欢迎加入贡献的队伍,加入开源社区从提交第一个 PR开始

  - 找到带有”easy to fix”标记或者一些非常简单的issue(比如拼写错误等),先通过第一个PR熟悉提交流程,如果有任何疑问,欢迎联系

邮件订阅方式:

https://dolphinscheduler.apache.org/zh-cn/docs/development/subscribe.html

gitee:

https://gitee.com/dolphinscheduler/DolphinScheduler

github:

https://github.com/apache/incubator-dolphinscheduler

官方网站

https://dolphinscheduler.apache.org

最后非常欢迎在线试用 http://106.75.43.194:8888/   

展开阅读全文
10 收藏
分享
加载中
精彩评论
我看到了swaggerui,哈哈,不过英文文档中参数错误

https://dolphinscheduler.apache.org/en-us/docs/1.3.3/user_doc/quick-start.html

API Document那个链接中language应该是en,目前是enn,显示接口界面就还是中文了
2020-11-19 10:15
1
举报
最新评论 (6)
排名部分先后
2020-11-19 10:55
0
回复
举报
好眼力
2020-11-19 14:12
0
回复
举报
我看到了swaggerui,哈哈,不过英文文档中参数错误

https://dolphinscheduler.apache.org/en-us/docs/1.3.3/user_doc/quick-start.html

API Document那个链接中language应该是en,目前是enn,显示接口界面就还是中文了
2020-11-19 10:15
1
回复
举报
嗯呐呐,感谢提醒,已经在修复了
2020-11-19 10:33
0
回复
举报
这个文档工具目前已经大变样了,DolphinScheduler团队是否考虑升级呢?

目前的效果:http://knife4j.xiaominfo.com/doc.html
2020-11-19 10:43
0
回复
举报
很赞啊,后续看看怎么升下级
2020-11-19 14:26
0
回复
举报
更多评论
6 评论
10 收藏
分享
返回顶部
顶部