任务调度之Oozie简介

一、Oozie 简介
Oozie 英文翻译为：驯象人。一个基于工作流引擎的开源框架，由 Cloudera 公司贡献给Apache，提供对 Hadoop Mapreduce、Pig Jobs 的任务调度与协调。Oozie 需要部署到 Java Servlet 容器中运行。主要用于定时调度任务，多任务可以按照执行的逻辑顺序调度。

二、Oozie 的功能模块介绍
2.1、模块

Workflow
顺序执行流程节点，支持 fork（分支多个节点），join（合并多个节点为一个）
Coordinator
定时触发 workflow
Bundle Job
绑定多个 Coordinator
2.2、常用节点
控制流节点（Control Flow Nodes）
控制流节点一般都是定义在工作流开始或者结束的位置，比如 start,end,kill 等。以及提供工作流的执行路径机制，如 decision，fork，join 等。
动作节点（Action Nodes）
负责执行具体动作的节点，比如：拷贝文件，执行某个 Shell 脚本等等。

三、Oozie 的部署
3.1 下载安装包并解压到指定目录
3.2 在原来学习的基础上修改 Hadoop 配置信息如下：
core-site.xml

<!-- Oozie Server 的 Hostname -->
<property>
<name>hadoop.proxyuser.admin.hosts</name>
<value>*</value>
</property>
<!-- 允许被 Oozie 代理的用户组 -->
<property>
<name>hadoop.proxyuser.admin.groups</name>
<value>*</value>
</property>

mapred-site.xml

<!-- 配置 MapReduce JobHistory Server 地址 ，默认端口 10020 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>linux01:10020</value>
</property>
<!-- 配置 MapReduce JobHistory Server web ui 地址， 默认端口 19888 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>linux01:19888</value>
</property>

yarn-site.xml

<!-- 任务历史服务 -->
<property>
<name>yarn.log.server.url</name>
<value>http://linux01:19888/jobhistory/logs/</value>
</property>

3.3 将配置文件同步到集群的其它节点
3.4 重启Hadoop集群
3.5 在 oozie 根目录下解压 hadooplibs
3.6 在 Oozie 根目录下创建 libext 目录
3.7 拷贝一些依赖的 jar 包
1.将 hadooplibs 里面的 jar 包，拷贝到 libext 目录下
2.拷贝 Mysql 驱动包到 libext 目录下
3.8 将 ext-2.2.zip 拷贝到 libext/目录下
3.9 修改Oozie配置文件
oozie-site.xml

属性：oozie.service.JPAService.jdbc.driver
属性值：com.mysql.jdbc.Driver
解释：JDBC 的驱动属性：oozie.service.JPAService.jdbc.url
属性值：jdbc:mysql://linux01:3306/oozie
解释：oozie 所需的数据库地址属性：oozie.service.JPAService.jdbc.username
属性值：root
解释：数据库用户名属性：oozie.service.JPAService.jdbc.password
属性值：123456
解释：数据库密码属性：oozie.service.HadoopAccessorService.hadoop.configurations
属性值：*=/home/admin/modules/cdh/hadoop-2.5.0-cdh5.3.6/etc/hadoop
解释：让Oozie 引用 Hadoop 的配置文件

3.10 在 Mysql 中创建 Oozie 的数据库
1.上传 Oozie 目录下的 yarn.tar.gz 文件到 HDFS
2. 创建 oozie.sql 文件
3. 打包项目，生成 war 包
3.11 启动、关闭 Oozie 服务

$ bin/oozied.sh start
$ bin/oozied.sh stop

3.12 访问 Oozie 的 Web 页面

http://主机IP:11000/oozie

完！

任务调度之Oozie简介相关推荐

hadoop离线阶段（第二十三节）oozie简介、安装和使用及oozie与hue的整合
目录 oozie简介 oozie的介绍 oozie的架构 oozie的执行流程 oozie的组件介绍 oozie安装第一步:修改core-site.xml 第二步:上传oozie的安装包并解压第三 ...
linux任务调度框架,任务调度框架Hangfire 简介
任务调度是我们项目中常见的功能,虽然任务调度的功能实现本身并不难,但一个好用的轮子还是可以给我们的开发的效率提升不少的. 在.net环境中,较为有名的任务调度框架是HangFire与Quartz.NE ...
#数据技术选型#即席查询Shib+Presto，集群任务调度HUE+Oozie
郑昀创建于2014/10/30 最后更新于2014/10/31 一)选型:Shib+Presto 应用场景:即席查询(Ad-hoc Query) 1.1.即席查询的目标使用者是产品/运营/销售运营 ...
Apache Oozie（1）：Apache Oozie简介
1 Oozie 概述 Oozie 是一个用来管理 Hadoop 生态圈 job 的工作流调度系统.由Cloudera 公司贡献给 Apache.Oozie 是运行于 Java servlet 容器上的 ...
什么是Oozie——大数据任务调度框架
Oozie简介 Oozie是大数据四大协作框架之一--任务调度框架,另外三个分别为数据转换工具Sqoop,文件收集库框架Flume,大数据WEB工具Hue. 它能够提供对Hadoop MapReduc ...
Oozie工作流调度工具的部署
一.Oozie简介 Oozie英文翻译为:驯象人.一个基于工作流引擎的开源框架,由Cloudera公司贡献给Apache,提供对Hadoop Mapreduce.Pig Jobs的任务调度与协调.Oo ...
Hadoop之Oozie
Oozie简介对于我们的工作,可能需要好几个Hadoop作业来协作完成,往往一个job的输出会被当做另一个job的输入来使用,这个时候就涉及到了数据流的处理.我们不可能就盯着程序,等它运行完再去运行 ...
工作流引擎Oozie（一）：workflow
1. Oozie简介 Yahoo开发工作流引擎Oozie(驭象者),用于管理Hadoop任务(支持MapReduce.Spark.Pig.Hive),把这些任务以DAG(有向无环图)方式串接起来.Oo ...
高可用Hadoop平台－Oozie工作流之Hadoop调度
1.概述在<高可用Hadoop平台-Oozie工作流>一篇中,给大家分享了如何去单一的集成Oozie这样一个插件.今天为大家介绍如何去使用Oozie创建相关工作流运行与Hadoop上,已 ...

任务调度之Oozie简介

任务调度之Oozie简介相关推荐

最新文章

热门文章