Azkaban 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
Azkaban 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
Azkaban 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
授权协议 Apache
开发语言 Java 查看源码 »
操作系统 跨平台
软件类型 开源软件
开源组织 LinkedIn
地区 不详
投 递 者 feewo
适用人群 未知
收录时间 2011-11-29

软件简介

Azkaban是个简单的批处理调度器,用来构建和运行Hadoop作业或其他脱机过程。

特性:

  • 兼容所有版本的 Hadoop

  • 基于 Web 的易用 UI

  • 简单的 Web 和 HTTP 工作流上传

  • 项目工作空间

  • 工作流调度

  • 模块化和插件化

  • 支持认证和授权

  • 可跟踪用户行为

  • 失败和成功时的邮件提醒

  • SLA 警告和自动终止

  • 失败作业的重试

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (7)

加载中
国产开源作业调度工具TASKCTL已经开源,可关注:https://www.oschina.net/p/taskctl 了解更多。
2017/08/16 14:44
回复
举报
简单易用的调度工具是Taskctl吧
2017/08/15 14:01
回复
举报
mark #Azkaban#
2017/07/29 15:41
回复
举报
简单易用,工作流调度很强大,可以把数据处理的所有有依赖的调度统一管理,给我们懒人省了不少事13 #Azkaban#
2016/04/15 08:36
回复
举报
阿兹卡班。。 3 #Azkaban#
2016/04/15 10:40
回复
举报
国产分布式计算框架dc4c早就实现了有向无环图DAG任务调度引擎 13 #Azkaban#
2016/04/15 12:25
回复
举报
mark #Azkaban#
2016/11/29 16:40
回复
举报
更多评论
发表了资讯
2013/03/07 00:00

探秘LinkedIn工程师团队:技术党支撑的SNS未来

以下为钛媒体译者编译自GigaOm科技网站的文章。希望能署译者名,并注明”钛媒体(www.tmtpost.com)“的来源:http://www.tmtpost.com/20874.html 全文如下: 摘要:LinkedIn的后台需要精准算法和强大的数据支撑,而这些数据正是令许多优秀工程师着迷的地方;好的数据底层架构让工程师的工作变更有效率,正是富于创新的“技术党”造就了这家领袖级的职业社交网络。 钛媒体注:美国知名科技博客GigaOM近日刊登了对LinkedIn几大数据...

0
10
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
2019/03/05 08:30

Azkaban

1. Azkaban安装部署 https://azkaban.github.io/azkaban/docs/2.5/ 安装Azkaban 1) 在/opt/module/目录下创建azkaban目录 [kris@hadoop101 module]$ mkdir azkaban 2) 解压azkaban-web-server-2.5.0.tar.gz、azkaban-executor-server-2.5.0.tar.gz、azkaban-sql-script-2.5.0.tar.gz到/opt/module/azkaban目录下 [kris@hadoop101 software]$ tar -zxvf azkaban-web-server-2.5.0.tar.gz -C /opt/module/azkaban/ [kris@h...

0
0
发表了博客
2018/04/15 15:58

Azkaban学习之路 (三)Azkaban的使用

界面介绍 首页有四个菜单 projects:最重要的部分,创建一个工程,所有flows将在工程中运行。 scheduling:显示定时任务 executing:显示当前运行的任务 history:显示历史运行任务 介绍projects部分 概念介绍 创建工程:创建之前我们先了解下之间的关系,一个工程包含一个或多个flows,一个flow包含多个job。job是你想在azkaban中运行的一个进程,可以是简单的linux命令,可是java程序,也可以是复杂的shell脚本,当然,如果你安装...

0
0
发表了博客
2018/04/15 15:53

Azkaban学习之路 (二)Azkaban的安装

安装过程 1、软件介绍 Azkaban Web 服务器:azkaban-web-server-2.5.0.tar.gz Azkaban Excutor 执行服务器:azkaban-executor-server-2.5.0.tar.gz Azkaban 初始化脚本文件:azkaban-sql-script-2.5.0.tar.gz 2、软件下载 下载地址:http://azkaban.github.io/downloads.html 3、安装说明 将安装文件上传到集群,最好上传到安装 hive、sqoop 的机器上,方便命令的执行。并最好同 一存放在 apps 目录下,用于存放源安装文件.新建 az...

0
0
发表了博客
2018/09/07 15:20

azkaban安装

1.下载: git clone https://github.com/azkaban/azkaban.git 2.编译: ./gradlew build -x test 3. 创建目录并拷贝 mkdir /opt/local/azkaban cp -r azkaban-*/build/distributions/azkaban-*.tar.gz /opt/local/azkaban 解压缩文件夹,并重命名 4. 在mysql中创建azkaban元数据库, 导入元数据库表 创建数据库,并创建用户赋值权限 grant all privileges on azkaban.* to azkaban@dwdev-name2 identified by 'azkaban'; flush ...

0
0
发表了博客
2019/03/10 19:06

大数据技术之_13_Azkaban学习_Azkaban(阿兹卡班)介绍 + Azkaban 安装部署 + Azkaban 实战

一 概述1.1 为什么需要工作流调度系统1.2 常见工作流调度系统1.3 各种调度工具特性对比1.4 Azkaban 与 Oozie 对比二 Azkaban(阿兹卡班) 介绍三 Azkaban 安装部署3.1 安装前准备3.2 安装 azkaban3.2 创建 SSL 配置3.3 时间同步配置3.4 配置文件3.4.1 Web 服务器配置3.4.2 执行服务器配置3.5 启动执行服务器3.6 启动 web 服务器四 Azkaban 实战4.1 Command 类型之单 job 工作流案例4.2 Command 类型之多 job 工作流案例4.3 HDF...

0
0
发表了博客
2019/03/26 17:34

Azkaban安装

  官网:https://azkaban.github.io/   Azkaban是一款开源工作流管理器。Azkaban是在LinkedIn上创建的批处理工作流作业调度程序,用于运行Hadoop作业。Azkaban通过作业依赖性解决订单,并提供易于使用的Web用户界面来维护和跟踪您的工作流程。 一、Azkaban安装部署 1. 解压,安装文件   azkaban-web-server-2.5.0.tar.gz (Azkaban服务器端)   azkaban-executor-server-2.5.0.tar.gz (Azkaban执行端、客户端)   azkab...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
2018/12/27 18:27

Azkaban配置邮件预警功

配置信息无误,如下是报错信息,使用的是Azkaban3.48.0版本。 2018/12/27 18:00:50.037 +0800 ERROR [EmailMessage] [Azkaban] Connecting to SMTP server failed, attempt: 0 javax.mail.AuthenticationFailedException: 535 5.7.8 Error: authentication failed: authentication failure at com.sun.mail.smtp.SMTPTransport$Authenticator.authenticate(SMTPTransport.java:823) at com.sun.mail.smtp.SMTPTransport.authen...

2
0
发表了问答
2016/11/02 10:41

azkaban3.0编译报错

这里下载的源码https://github.com/azkaban/azkaban,我尝试编译,报如下错误,请求帮助。

4
0
2019/08/26 17:59

drelephant怎样读取azkaban的相关信息

而官网上 我配置的信息 我怎么没有读到azkaban调度的信息

1
0
发表了问答
2019/01/15 09:21

一个国产的基于事件的流程编排和调度引擎

GtiHub地址:https://github.com/xuda783380930/job-dispatcher.git GitEE地址:https://gitee.com/daye_daye/job-dispatcher 基本模型: 基于事件或者定时生成一个job,每个job由若干个task组成,task之间存在串行或并行的依赖关系 task的具体实现引由客户端(用户自己编程实现),调度引擎只负责按照拓扑顺序发出HTTP信号触发任务 由客户端发出HTTP通知引擎任务任务的完成状态,调度引擎据此继续发出后续调度信号 使用场景: 任务编...

3
2
发表了问答
2016/11/02 17:53

azkaban3.0编译完成只有四个文件夹

官网明明说是有六个 Extract the package into a directory. The install path should be different from the Azkaban Web Server. After extraction, there should be the following directories. Folder Description bin The scripts to start Azkaban jetty server conf The configurations for Azkaban solo server lib The jar dependencies for Azkaban extlib Additional jars that are added to extlib will be added t...

1
0
发表了问答
2015/01/28 17:35

azkaban2.5执行hive问题

hive版本是0.13.1 hive.job: 报错如下: 3控制台报错如下: 请帮帮我,提前感谢

2
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
7 评论
161 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部