1.5-1.6 oozie部署

一、部署

可参考文档：http://archive.cloudera.com/cdh5/cdh/5/oozie-4.0.0-cdh5.3.6/DG_QuickStart.html

1、解压oozie

安装包：

oozie-4.0.0-cdh5.3.6-src.tar.gz

ext-2.2.zip

##解压
[root@hadoop-senior oozie]# tar zxf oozie-4.0.0-cdh5.3.6.tar.gz -C /opt/cdh-5.3.6/

##先停止hadoop集群

[root@hadoop-senior hadoop-2.5.0-cdh5.3.6]# sbin/stop-dfs.sh

[root@hadoop-senior hadoop-2.5.0-cdh5.3.6]# sbin/stop-yarn.sh

[root@hadoop-senior hadoop-2.5.0-cdh5.3.6]# sbin/mr-jobhistory-daemon.sh stop historyserver

2、Oozie服务器架构

3、修改core-site.xml

##/opt/cdh-5.3.6/hadoop-2.5.0-cdh5.3.6/etc/hadoop/core-site.xml       //添加以下内容<property><name>hadoop.proxyuser.root.hosts</name><value>hadoop-senior.ibeifeng.com</value></property><property><name>hadoop.proxyuser.root.groups</name><value>*</value></property>

##

root   //允许启动oozie的用户、组

*      //允许所有组

4、oozie-hadooplibs-4.0.0-cdh5.3.6.tar.gz

##oozie-hadooplibs-4.0.0-cdh5.3.6.tar.gz       //此压缩包是解压oozie后出现的
[root@hadoop-senior oozie-4.0.0-cdh5.3.6]# pwd
/opt/cdh-5.3.6/oozie-4.0.0-cdh5.3.6[root@hadoop-senior oozie-4.0.0-cdh5.3.6]# ls |grep hadooplibs
oozie-hadooplibs-4.0.0-cdh5.3.6.tar.gz##解压oozie-hadooplibs-4.0.0-cdh5.3.6.tar.gz
[root@hadoop-senior oozie-4.0.0-cdh5.3.6]# tar zxf oozie-hadooplibs-4.0.0-cdh5.3.6.tar.gz        //直接解压到oozie安装目录中此时会多出一个oozie-4.0.0-cdh5.3.6目录；
[root@hadoop-senior oozie-4.0.0-cdh5.3.6]# ls oozie-4.0.0-cdh5.3.6/hadooplibs/
hadooplib-2.5.0-cdh5.3.6.oozie-4.0.0-cdh5.3.6          //支持yarn，用这个
hadooplib-2.5.0-mr1-cdh5.3.6.oozie-4.0.0-cdh5.3.6        //支持第一代MapReduce

5、创建libext目录，cp jars

##创建libext目录
[root@hadoop-senior oozie-4.0.0-cdh5.3.6]# pwd
/opt/cdh-5.3.6/oozie-4.0.0-cdh5.3.6[root@hadoop-senior oozie-4.0.0-cdh5.3.6]# mkdir libext/##复制jar包
[root@hadoop-senior oozie-4.0.0-cdh5.3.6]# cp -r oozie-4.0.0-cdh5.3.6/hadooplibs/hadooplib-2.5.0-cdh5.3.6.oozie-4.0.0-cdh5.3.6/* libext/##复制ext-2.2.zip
[root@hadoop-senior oozie-4.0.0-cdh5.3.6]# cp /opt/softwares/cdh/oozie/ext-2.2.zip libext/##为oozie创建war文件
[root@hadoop-senior oozie-4.0.0-cdh5.3.6]# bin/oozie-setup.sh prepare-war##启动hdfs
[root@hadoop-senior hadoop-2.5.0-cdh5.3.6]# sbin/hadoop-daemon.sh start namenode[root@hadoop-senior hadoop-2.5.0-cdh5.3.6]# sbin/hadoop-daemon.sh start datanode

6、sharelib

##将新的sharelib上传到hdfs
[root@hadoop-senior oozie-4.0.0-cdh5.3.6]# bin/oozie-setup.sh sharelib create -fs hdfs://hadoop-senior.ibeifeng.com:8020 -locallib oozie-sharelib-4.0.0-cdh5.3.6-yarn.tar.gz##各个目录里都是各个组件需要的jar包
[root@hadoop-senior hadoop-2.5.0-cdh5.3.6]# bin/hdfs dfs -ls /user/root/share/lib/lib_20190510132826
Found 9 items
drwxr-xr-x   - root supergroup          0 2019-05-10 13:28 /user/root/share/lib/lib_20190510132826/distcp
drwxr-xr-x   - root supergroup          0 2019-05-10 13:28 /user/root/share/lib/lib_20190510132826/hcatalog
drwxr-xr-x   - root supergroup          0 2019-05-10 13:28 /user/root/share/lib/lib_20190510132826/hive
drwxr-xr-x   - root supergroup          0 2019-05-10 13:28 /user/root/share/lib/lib_20190510132826/hive2
drwxr-xr-x   - root supergroup          0 2019-05-10 13:28 /user/root/share/lib/lib_20190510132826/mapreduce-streaming
drwxr-xr-x   - root supergroup          0 2019-05-10 13:28 /user/root/share/lib/lib_20190510132826/oozie
drwxr-xr-x   - root supergroup          0 2019-05-10 13:28 /user/root/share/lib/lib_20190510132826/pig
-rw-r--r--   3 root supergroup       1364 2019-05-10 13:28 /user/root/share/lib/lib_20190510132826/sharelib.properties
drwxr-xr-x   - root supergroup          0 2019-05-10 13:28 /user/root/share/lib/lib_20190510132826/sqoop

7、创建数据库

##创建
[root@hadoop-senior oozie-4.0.0-cdh5.3.6]# bin/ooziedb.sh create -sqlfile oozie.sql -run DB Connection##复制mysql驱动
[root@hadoop-senior oozie-4.0.0-cdh5.3.6]# cp /opt/softwares/mysql-libs/mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar lib/[root@hadoop-senior oozie-4.0.0-cdh5.3.6]# ls lib/ |grep mysql
mysql-connector-java-5.1.27-bin.jar

二、启动oozie

##先配置oozie-site.xml     //大概在200多行，配置hadoop的配置文件路径
<property><name>oozie.service.HadoopAccessorService.hadoop.configurations</name><value>*=/opt/cdh-5.3.6/hadoop-2.5.0-cdh5.3.6/etc/hadoop</value><description>Comma separated AUTHORITY=HADOOP_CONF_DIR, where AUTHORITY is the HOST:PORT ofthe Hadoop service (JobTracker, HDFS). The wildcard '*' configuration isused when there is no exact match for an authority. The HADOOP_CONF_DIR containsthe relevant Hadoop *-site.xml files. If the path is relative is looked withinthe Oozie configuration directory; though the path can be absolute (i.e. to pointto Hadoop client conf/ directories in the local filesystem.</description></property>##启动，其实就是一个tomcat，端口11000
bin/oozied.sh start##查看
[root@hadoop-senior oozie]# jps
21516 Jps
19651 DataNode
21419 Bootstrap        //oozie
19542 NameNode[root@hadoop-senior oozie]# netstat -ntlp |grep 11000
tcp        0      0 :::11000                    :::*                        LISTEN      21718/java ##访问
在web中： http://hadoop-senior.ibeifeng.com:11000/oozie/

转载于:https://www.cnblogs.com/weiyiming007/p/10844072.html

1.5-1.6 oozie部署相关推荐

Oozie自带MapReduce示例的运行
示例很简单,但是却有很多坑,如下先给出最终的配置示例以及运行结果,最后给出其中遇到过的问题以及解决方法. 安装用户 Hadoop安装在root用户下: Oozie安装在wht用户下(一开始是安装在ro ...
Oozie 工作流定义详解【转】
转自:http://shiyanjun.cn/archives/664.html Oozie工作流程定义详解 Oozie工作流程定义是一个DAG(Directed Acyclical Graphs)图 ...
大数据分析工程师大纲
大数据分析工程师大纲阶段一.业务数据分析师课程一.数据挖掘/分析师之硬技能 - 必备常用工具使用与高级技巧本部分内容主要介绍了数据挖掘.分析师.数据产品经理必备的常用工具的,主要有 Excel, ...
基于Hadoop技术实现的离线电商分析平台（Flume、Hadoop、Hbase、SpringMVC、highcharts）- 驴妈妈旅游项目
离线数据分析平台是一种利用hadoop集群开发工具的一种方式,主要作用是帮助公司对网站的应用有一个比较好的了解.尤其是在电商.旅游.银行.证券.游戏等领域有非常广泛,因为这些领域对数据和用户的特性把握 ...
使用Cloudera Manager部署oozie
使用Cloudera Manager部署oozie 作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任. 1>.进入CM服务安装向导 2>.选择要添加的oozie服务 3> ...
CDH部署Hive、Spark、oozie、hue、sqoop等
CDH安装好后,需要进一步设置hive及spark,CDH安装部署参考 CDH安装部署 1.hive安装 1.1 添加服务 1.2 添加hive服务 1.3 将hive服务添加到集群 1.4 配置hi ...
Oozie工作流调度工具的部署
一.Oozie简介 Oozie英文翻译为:驯象人.一个基于工作流引擎的开源框架,由Cloudera公司贡献给Apache,提供对Hadoop Mapreduce.Pig Jobs的任务调度与协调.Oo ...
工作流引擎Oozie（一）：workflow
1. Oozie简介 Yahoo开发工作流引擎Oozie(驭象者),用于管理Hadoop任务(支持MapReduce.Spark.Pig.Hive),把这些任务以DAG(有向无环图)方式串接起来.Oo ...
Ambari安装之部署3个节点的HA分布式集群
前期博客 Ambari安装之部署单节点集群其实,按照这个步骤是一样的.只是按照好3个节点后,再做下HA即可. 部署3个节点的HA分布式集群 (1)添加机器和添加服务的操作类似,如下图之后的添加a ...

1.5-1.6 oozie部署

1.5-1.6 oozie部署相关推荐

最新文章

热门文章