Oozie简介

Oozie是大数据四大协作框架之一——任务调度框架，另外三个分别为数据转换工具Sqoop,文件收集库框架Flume,大数据WEB工具Hue。

它能够提供对Hadoop MapReduce和Pig Jobs的任务调度与协调。

Oozie需要部署到Java Servlet容器中运行。

功能相似的任务调度框架还有Azkaban和Zeus。

Oozie三大功能模块

从图中不难看出，Oozie主要有三大功能模块构成：

workflow(工作流)：定义job任务执行。
Coordinator：定时触发workflow，周期性执行workflow
Bundle Job：绑定多个coordinator，一起提交或触发所以coordinator

Oozie工作流

Oozie工作流定义，同JBoss jBPM提供的jPDL一样，也提供了类似的流程定义语言hPDL，通过XML文件格式来实现流程的定义。对于工作流系统，一般都会有很多不同功能的节点，比如分支、并发、汇合等等。
Oozie定义了控制流节点（Control Flow Nodes）和动作节点（Action Nodes），其中控制流节点定义了流程的开始和结束，以及控制流程的执行路径（Execution Path），如decision、fork、join等；而动作节点包括Hadoop map-reduce、Hadoop文件系统、Pig、SSH、HTTP、eMail和Oozie子流程。
oozie本质就是一个作业协调工具（底层原理是通过将xml语言转换成mapreduce程序来做，但只是在集中map端做处理，避免shuffle的过程。）

执行workflow之前首先要进行相关配置：

job.properties 定义job相关属性以及参数
workflow.xml 定义控制流和动作节点
lib 存放job任务运行的相关资料文件[jar]

特别注意：

Oozie的工作流必须是一个有向无环图，实际上Oozie就相当于Hadoop的一个客户端，当用户需要执行多个关联的MR任务时，只需要将MR执行顺序写入workflow.xml，然后使用Oozie提交本次任务，Oozie会托管此任务流。

Oozie Cli命令

注意：使用Oozie之前必须先启动hdfs，yarn和jobhistory，这里jobhistory一开始很容易忘~

l 启动任务

oozie job -oozie oozie_url -config job.properties_address -run

l 停止任务

oozie job -oozie oozie_url -kill jobId -oozie-oozi -W

l 提交任务

oozie job -oozie oozie_url -config job.properties_address -submit

l 开始任务

oozie job -oozie oozie_url -config job.properties_address -startJobId -oozie-oozi -W

l 查看任务执行情况

oozie job -oozie oozie_url -config job.properties_address -info jobId -oozie-oozi -W

说明：所有的命令都是以oozie job -oozie oozie_url 开头的-config 制定job.properties文件夹的位置，-run 文件启动后会返回一个唯一的jobId，供之后使用。

什么是Oozie——大数据任务调度框架相关推荐

全面认识当前市面99%的大数据技术框架（附:各大厂大数据技术应用文章）
目录大数据领域分析系统平台集群管理与监控文件系统资源调度协调框架数据存储数据处理数据查询和分析数据收集消息系统任务调度数据治理数据可视化云平台大数据必知点大厂应用实践 ...
大数据开源框架技术汇总
主要基于对现阶段一些常用的大数据开源框架技术的整理,只是一些简单的介绍,并不是详细技术梳理.可能会有疏漏,发现再整理.参考得太多,就不一一列出来了.这只是作为一个梳理,对以后选型或者扩展的做个参考. ...
大数据计算框架期末复习
1. 下面哪个不是Linux发行版本 (D) A. Ubuntu B. Centos C. RedHat Enterprise Linux D. Mac 6.web方式查看hdfs目录结构 ...
新代大数据计算框架Apache Flink
大数据计算框架的发展最近几年,出现了很多热门的开源社区,其中注明的Hadoop Storm,以及很热门的Spark, 它们有着各自专注的应用场景.Spar掀开了内存计算的先河,也以内为基础,赢得了内 ...
大数据必须框架-Azkaban
大数据必须框架-Azkaban 一.Azkaban 概论 1.为什么需要工作流调度系统 1)一个完整的数据分析系统通常都是由大量任务单元组成: Shell 脚本程序,Java 程序,MapReduce ...
大数据计算框架与平台--深入浅出分析
http://mp.weixin.qq.com/s/s2DnbgieeQockaLKdZDCzA?utm_source=tuicool&utm_medium=referral 1. 前言计算 ...
大数据计算框架及引擎介绍
一.大数据处理框架主流的大数据处理框架包括以下三类五种: 1.仅批处理框架:Apache Hadoop 2.仅流处理框架:Apache Storm.Apache Samza 3.混合框架:Apach ...
大数据各框架的原理与知识点
以下是根据自己的总结和梳理,建议入过门大数据的人看.写的很片面,没有图片,我仅仅想把握学的东西梳理下. Hadoop篇数据仓库数据仓库,简写DW,是为企业级所有级别的决策制定过程,提供所有类型数据 ...
大数据软件框架之Hadoop框架
大数据软件框架之 Hadoop框架: Hadoop框架是由Java语言编写的,它的核心是HDFS(Hadoop分布式文件系统)和MapReduse,对于大数据而言,Hadoop就是用大量的廉价机器组成 ...

什么是Oozie——大数据任务调度框架