前言：

最近在实际工作中玩到了Azkaban，虽然之前有简单的接触，但是真正用到的时候，才能体会到这个工具的实用性有多强，总结下真个操作过程。在总结整个操作过程之前先简单描述下工作流调度系统的优势。

1、工作流调度系统的优势

一个完整的数据分析系统通常都是由大量任务单元组成：
shell脚本程序，java程序，mapreduce程序、hive脚本等

各任务单元之间存在时间先后及前后依赖关系
为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行；

例如，我们可能有这样一个需求，某个业务系统每天产生20G原始数据，我们每天都要对其进行处理，处理步骤如下所示：

通过Hadoop先将原始数据同步到HDFS上；
借助MapReduce计算框架对原始数据进行转换，生成的数据以分区表的形式存储到多张Hive表中；
需要对Hive中多个表的数据进行JOIN处理，得到一个明细数据Hive大表；
将明细数据进行复杂的统计分析，得到结果报表信息；
需要将统计分析得到的结果数据同步到业务系统中，供业务调用使用。

以上整个流程组成了我们的一个job，如果采用传统的linux定时任务去处理这个流程的话，存在一个巨大的隐患，job失败率很高，流程无法控制，没有预警机制。所以类似的这种工作流调度器的工具就应运而生！

工作流调度实现方式：
简单的任务调度：直接使用linux的crontab来定义；
复杂的任务调度：开发调度平台或使用现成的开源调度系统，比如ooize、azkaban等

2、操作指南

2.1、首页简介

projects：最重要的部分，创建一个工程，所有flows将在工程中运行。
scheduling:显示定时任务
executing:显示当前运行的任务
history:显示历史运行任务

2.2、创建单一job

概念介绍
创建工程：创建之前我们先了解下之间的关系，一个工程包含一个或多个flows，一个flow包含多个job。job是你想在azkaban中运行的一个进程，可以是简单的linux命令，可是java程序，也可以是复杂的shell脚本，当然，如果你安装相关插件，也可以运行插件。一个job可以依赖于另一个job，这种多个job和它们的依赖组成的图表叫做flow。

1、Command 类型单一 job 示例

首先创建一个工程，填写名称和描述
之后点击完成后进入如下界面

Flows：工作流程，有多个job组成
Permissions:权限管理
Project Logs:工程日志

2、job的创建
创建job很简单，只要创建一个以.job结尾的文本文件就行了,例如我们创建一个工作，用来打印hello，名字叫做command.job

command.job
type=command
command=echo 'hello'

一个简单的job就创建好了，解释下，type的command，告诉azkaban用unix原生命令去运行，比如原生命令或者shell脚本，当然也有其他类型，后面说。一个工程不可能只有一个job，我们现在创建多个依赖job，这也是采用azkaban的首要目的。

3、将 job 资源文件打包
注意：只能是zip格式
4、通过 azkaban web 管理平台创建 project 并上传压缩包

注意这里这里点击Execute Flow后可以执行定时任务，也可立即执行

查看任务的执行情况

2.3、创建多job项目

我们说过多个jobs和它们的依赖组成flow。怎么创建依赖，只要指定dependencies参数就行了。比如导入hive前，需要进行数据清洗，数据清洗前需要上传，上传之前需要从ftp获取日志。
定义5个job：

1、o2o_2_hive.job：将清洗完的数据入hive库
2、o2o_clean_data.job：调用mr清洗hdfs数据
3、o2o_up_2_hdfs.job：将文件上传至hdfs
4、o2o_get_file_ftp1.job：从ftp1获取日志
5、o2o_get_file_fip2.job：从ftp2获取日志

依赖关系：
3依赖4和5，2依赖3，1依赖2，4和5没有依赖关系。
注意command写成执行sh脚本，建议这样做，后期只需维护脚本就行了（将python脚本放到shell脚本中执行便于维护），azkaban定义工作流程

o2o_2_hive.jobtype=command
# 执行sh脚本，建议这样做，后期只需维护脚本就行了，azkaban定义工作流程
command=sh /job/o2o_2_hive.sh
dependencies=o2o_clean_data
retries=3 #失败重试3次
retry.backoff=30000 #每次重试间隔，单位为毫秒o2o_clean_data.jobtype=command
# 执行sh脚本，建议这样做，后期只需维护脚本就行了，azkaban定义工作流程
command=sh /job/o2o_clean_data.sh
dependencies=o2o_up_2_hdfso2o_up_2_hdfs.jobtype=command#需要配置好hadoop命令，建议编写到shell中，可以后期维护
command=hadoop fs -put /data/*
#多个依赖用逗号隔开
dependencies=o2o_get_file_ftp1,o2o_get_file_ftp2o2o_get_file_ftp1.jobtype=command
command=wget "ftp://file1" -O /data/file1o2o_get_file_ftp2.job
type=command
command=wget "ftp:file2" -O /data/file2

配置邮件接收者：在任务流Flow的最后一个.job中文件中添加如下内容

这样将邮箱接受者配置到job文件中便于管理和修改

#任务执行失败发送邮件，多个接收邮件人之间用“,”分隔
failure.emails=AAAAAAA@126.com,BBBBB@163.com
#任务执行成功发送邮件
success.emails=AAAAA@126.com
#任务执行完成，无论成功还是失败发送邮件
notify.emails=BBBBBBB@126.com

可以运行unix命令，也可以运行python脚本（强烈推荐）。将上述job打成zip包。
效果图（可以在下图中点击每个job，再次编辑job中的内容）

点击o2o_2_hive进入流程，azkaban流程名称以最后一个没有依赖的job定义的。查看各个job间的依赖关系

下图是配置执行当前流程或者执行定时流程。

说明

Flow view：流程视图。可以禁用，启用某些job（这里想要单独运行某个job时，可以操作隐藏其他的依赖job）
Notification:定义任务成功或者失败是否发送邮件
Failure Options:定义一个job失败，剩下的job怎么执行
Concurrent：并行任务执行设置
Flow Parametters：参数设置。

参考：https://blog.csdn.net/aizhenshi/article/details/80828726
参考：https://www.jianshu.com/p/3b78164477e8

azkaban的操作指南相关推荐

Azkaban操作指南
Azkaban 1 Azkaban概述 1.1 Azkaban是什么? Azkaban是工作流调度系统.调度的是shell脚本.java程序.mr程序.hive脚本 1.2 为什么需要工作流调度系统? ...
叛乱联机服务器未响应,叛乱沙漠风暴怎么开服叛乱沙漠风暴开服操作指南详解安装准备-游侠网...
叛乱沙漠风暴怎么开服?游戏一款多人联机操作游戏,在开服前期要做好相应的准备工作,也就是设置一些选项,这里给大家带来了"xudong162"分享的叛乱沙漠风暴开服操作指南详解,详情一 ...
oracle读书笔记之Oracle 11g R2 DBA操作指南（前三章）
Oracle 11g R2 DBA操作指南是我学习的第一本讲述oracle数据库知识的书籍,在此记录下自己的学习笔记,对于书中的知识点本人通过实际操作进行验证. 1.Oracle数据库基础 1.1.关 ...
tcp转串口_PROFIBUS DP与Modbus/TCP网络转换操作指南
>>PROFIBUS DP转Modbus/TCP网关操作指南摘要: 本文以NT100-RE-DP网关为例,实现Modbus/TCP Client与PROFIBUS DP设备间的通讯,从而 ...
GitHub使用教程详解——官网操作指南（翻译）
GitHub使用教程详解--官网操作指南(翻译) GitHub使用指南原文地址:GitHub官网示例项目:Hello World 十分钟轻松教学在学习计算机语言编程的过程中创建Hello Wor ...
Azkaban入门（启动一个Simple Example）
Azkaban简介 azkaban是一个开源的任务调度系统 Azkaban是一套简单的任务调度服务,整体包括三部分webserver.dbserver.executorserver. 开发语言为Jav ...
拨号到公司网络操作指南
拨号到公司网络操作指南转载于:https://blog.51cto.com/itlingm/399066
azkaban 与 java任务_Azkaban的任务类型分析35：JavaProcessJob的执行
我们知道,在azkaban内部有好几种调度程序,那么一个java程序怎么被执行的呢? ========================================================= ...
最快捷的Linux命令查询工具来了：「我该怎么做XX」，一句话自动返回操作指南...
贾浩楠发自凹非寺量子位报道 | 公众号 QbitAI 无论你是Linux萌新用户还是老司机,使用命令行总会遇到不懂的问题. 遇到问题要么去论坛询问.谷歌搜索,要么查自带命令手册(RTFM),过 ...

azkaban的操作指南

前言：