Azkaban 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
Azkaban 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
授权协议 Apache
开发语言 Java 查看源码 »
操作系统 跨平台
软件类型 开源软件
开发厂商 LinkedIn
地区 不详
提 交 者 feewo
适用人群 未知
收录时间 2011-11-29

软件简介

Azkaban是个简单的批处理调度器,用来构建和运行Hadoop作业或其他脱机过程。

特性:

  • 兼容所有版本的 Hadoop

  • 基于 Web 的易用 UI

  • 简单的 Web 和 HTTP 工作流上传

  • 项目工作空间

  • 工作流调度

  • 模块化和插件化

  • 支持认证和授权

  • 可跟踪用户行为

  • 失败和成功时的邮件提醒

  • SLA 警告和自动终止

  • 失败作业的重试

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (7)

加载中
国产开源作业调度工具TASKCTL已经开源,可关注:https://www.oschina.net/p/taskctl 了解更多。
2017/08/16 14:44
回复
举报
简单易用的调度工具是Taskctl吧
2017/08/15 14:01
回复
举报
mark #Azkaban#
2017/07/29 15:41
回复
举报
简单易用,工作流调度很强大,可以把数据处理的所有有依赖的调度统一管理,给我们懒人省了不少事13 #Azkaban#
2016/04/15 08:36
回复
举报
阿兹卡班。。 3 #Azkaban#
2016/04/15 10:40
回复
举报
国产分布式计算框架dc4c早就实现了有向无环图DAG任务调度引擎 13 #Azkaban#
2016/04/15 12:25
回复
举报
mark #Azkaban#
2016/11/29 16:40
回复
举报
更多评论
发表了资讯
2013/03/07 00:00

探秘LinkedIn工程师团队:技术党支撑的SNS未来

以下为钛媒体译者编译自GigaOm科技网站的文章。希望能署译者名,并注明”钛媒体(www.tmtpost.com)“的来源:http://www.tmtpost.com/20874.html 全文如下: 摘要:LinkedIn的后台需要精准算法和强大的数据支撑,而这些数据正是令许多优秀工程师着迷的地方;好的数据底层架构让工程师的工作变更有效率,正是富于创新的“技...

0
10
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
2018/07/22 21:22

Azkaban(三)Azkaban的使用

界面介绍 首页有四个菜单 projects:最重要的部分,创建一个工程,所有flows将在工程中运行。 scheduling:显示定时任务 executing:显示当前运行的任务 history:显示历史运行任务 介绍projects部分 概念介绍 创建工程:创建之前我们先了解下之间的关系,一个工程包含一个或多个flows,一个flow包含多个job。job是你想在a...

0
0
发表了博客
2019/03/05 08:30

Azkaban

1. Azkaban安装部署 https://azkaban.github.io/azkaban/docs/2.5/ 安装Azkaban 1) 在/opt/module/目录下创建azkaban目录 [kris@hadoop101 module]$ mkdir azkaban 2) 解压azkaban-web-server-2.5.0.tar.gz、azkaban-executor-server-2.5.0.tar.gz、azkaban-sql-script-2.5.0.tar.gz到/opt/module/azkaban目录下 ...

0
0
发表了博客
2018/07/22 19:01

Azkaban(一)Azkaban的基础介绍

一、为什么需要工作流调度器 1、一个完整的数据分析系统通常都是由大量任务单元组成: shell 脚本程序,java 程序,mapreduce 程序、hive 脚本等 2、各任务单元之间存在时间先后及前后依赖关系 3、为了很好地组织起这样的复杂执行计划,需要一个工作流调度系统来调度执行 例如,我们可能有这样一个需求,某个业务系统每天...

0
0
发表了博客
2018/07/22 20:07

Azkaban(二)CentOS7.5安装Azkaban

1、软件介绍 Azkaban Web 服务器:azkaban-web-server-2.5.0.tar.gz Azkaban Excutor 执行服务器:azkaban-executor-server-2.5.0.tar.gz Azkaban 初始化脚本文件:azkaban-sql-script-2.5.0.tar.gz 2、软件下载 下载地址:http://azkaban.github.io/downloads.html 3、安装说明 将安装文件上传到集群,最好上传到安装 hi...

0
0
发表了博客
2018/04/15 15:58

Azkaban学习之路 (三)Azkaban的使用

界面介绍 首页有四个菜单 projects:最重要的部分,创建一个工程,所有flows将在工程中运行。 scheduling:显示定时任务 executing:显示当前运行的任务 history:显示历史运行任务 介绍projects部分 概念介绍 创建工程:创建之前我们先了解下之间的关系,一个工程包含一个或多个flows,一个flow包含多个job。job是你想在a...

0
0
发表了博客
2018/09/07 15:20

azkaban安装

1.下载: git clone https://github.com/azkaban/azkaban.git 2.编译: ./gradlew build -x test 3. 创建目录并拷贝 mkdir /opt/local/azkaban cp -r azkaban-*/build/distributions/azkaban-*.tar.gz /opt/local/azkaban 解压缩文件夹,并重命名 4. 在mysql中创建azkaban元数据库, 导入元数据库表 创建数据库,并创建用...

0
0
发表了博客
2018/04/15 15:53

Azkaban学习之路 (二)Azkaban的安装

安装过程 1、软件介绍 Azkaban Web 服务器:azkaban-web-server-2.5.0.tar.gz Azkaban Excutor 执行服务器:azkaban-executor-server-2.5.0.tar.gz Azkaban 初始化脚本文件:azkaban-sql-script-2.5.0.tar.gz 2、软件下载 下载地址:http://azkaban.github.io/downloads.html 3、安装说明 将安装文件上传到集群,最好上传到...

0
0
发表了博客
2019/03/10 19:06

大数据技术之_13_Azkaban学习_Azkaban(阿兹卡班)介绍 + Azkaban 安装部署 + Azkaban 实战

一 概述1.1 为什么需要工作流调度系统1.2 常见工作流调度系统1.3 各种调度工具特性对比1.4 Azkaban 与 Oozie 对比二 Azkaban(阿兹卡班) 介绍三 Azkaban 安装部署3.1 安装前准备3.2 安装 azkaban3.2 创建 SSL 配置3.3 时间同步配置3.4 配置文件3.4.1 Web 服务器配置3.4.2 执行服务器配置3.5 启动执行服务器3.6 启动 we...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
2018/12/27 18:27

Azkaban配置邮件预警功

配置信息无误,如下是报错信息,使用的是Azkaban3.48.0版本。 2018/12/27 18:00:50.037 +0800 ERROR [EmailMessage] [Azkaban] Connecting to SMTP server failed, attempt: 0 javax.mail.AuthenticationFailedException: 535 5.7.8 Error: authentication failed: authentication failure at com.sun.mail.smtp.SMTPTr...

1
0
发表了问答
2016/11/02 10:41

azkaban3.0编译报错

这里下载的源码https://github.com/azkaban/azkaban,我尝试编译,报如下错误,请求帮助。

2
0
发表于服务端专区
2019/08/26 17:59

drelephant怎样读取azkaban的相关信息

而官网上 我配置的信息 我怎么没有读到azkaban调度的信息

1
0
发表了问答
2019/01/15 09:21

一个国产的基于事件的流程编排和调度引擎

GtiHub地址:https://github.com/xuda783380930/job-dispatcher.git GitEE地址:https://gitee.com/daye_daye/job-dispatcher 基本模型: 基于事件或者定时生成一个job,每个job由若干个task组成,task之间存在串行或并行的依赖关系 task的具体实现引由客户端(用户自己编程实现),调度引擎只负责按照拓扑顺序发出HTTP信号触...

3
2
发表了问答
2016/11/02 17:53

azkaban3.0编译完成只有四个文件夹

官网明明说是有六个 Extract the package into a directory. The install path should be different from the Azkaban Web Server. After extraction, there should be the following directories. Folder Description bin The scripts to start Azkaban jetty server conf The configurations for Azkaban solo server ...

1
0
发表了问答
2015/01/28 17:35

azkaban2.5执行hive问题

hive版本是0.13.1 hive.job: 报错如下: 3控制台报错如下: 请帮帮我,提前感谢

1
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
7 评论
161 收藏
分享
返回顶部
顶部