安装Oozie4.1.0-CDH版本
安装Oozie4.1.0-CDH版本
这个安装过程同样适用于oozie4.1.0的其他的CDH版本。
先对文件进行下载：
这里使用的是CDH版本的，免编译，看着编译的过程就够了。下载地址：
http://archive.cloudera.com/cdh5/cdh/5/oozie-4.1.0-cdh5.5.2.tar.gz
文件较大，1.6G
还需要下载ExjJS，这是扩展的JavaScript的UI桌面框架。
必须是2.2版本的，这是官网指定的，已经写死在oozied.sh中。下载地址：
http://download.csdn.net/download/feature_09/10015730
on1是我主机名
如果不知道自己的主机名可以运行命令： hostname
安装环境：
centOS 7,64位虚拟机
hadoop2.7.2
jdk1.8
一、解压安装oozie
[root@on1 ~]# tar -zxvf oozie-4.1.0-cdh5.5.2.tar.gz
[root@on1 ~]# cd oozie-4.1.0-cdh5.5.2
二、配置环境变量
[root@on1 ~]# vim /etc/profile
在最下面
#oozie
export OOZIE_HOME=/usr/local/oozie-4.1.0-cdh5.5.2
export PATH=$PATH:$OOZIE_HOME/bin
export OOZIE_URL=http://on1:11000/oozie
[root@on1 ~]# source /etc/profile[root@on1 oozie-4.1.0-cdh5.5.2]# oozie admin -shareliblist
[Available ShareLib]
三、还需要配置一下hadoop的core-site文件。
1、[root@on1 hadoop]# vi core-site.xml
<property><name>hadoop.proxyuser.root.hosts</name><value>*</value></property>
<property><name>hadoop.proxyuser.root.groups</name><value>*</value>
</property>
2、重启hadoop
四、创建libext目录
[root@on1 oozie-4.1.0-cdh5.5.2]# mkdir libext
五、解压包中的hadooplibs的tar包，并把hadooplibs目录下的内容拷贝到刚刚创建的目录下
[root@on1 oozie-4.1.0-cdh5.5.2]# tar -zxvf oozie-hadooplibs-4.1.0-cdh5.5.2.tar.gz
解压后多了一个oozie-4.1.0-cdh5.5.2，与oozie本身名称是一样的，需要注意！
[root@on1 oozie-4.1.0-cdh5.5.2]# cd oozie-4.1.0-cdh5.5.2/hadooplibs/
[root@on1 hadooplibs]# cp hadooplib-2.6.0-cdh5.5.2.oozie-4.1.0-cdh5.5.2/* /usr/local/oozie-4.1.0-cdh5.5.2/libext/
[root@on1 hadooplibs]# cp hadooplib-2.6.0-mr1-cdh5.5.2.oozie-4.1.0-cdh5.5.2/* /usr/local/oozie-4.1.0-cdh5.5.2/libext/
如用hadoop2.6.0-cdh5.5.2则不用复制hadoop的jar包
如用的是不同的hadoop版本，则需要拷贝hadoop的jar文件到libext/下
先删除oozie下libext目录下的hadoop的jar包
[root@on1 hadooplibs]# rm -rf /usr/local/oozie-4.1.0-cdh5.5.2/libext/hadoop*hadoop的jar包在 ls /usr/local/hadoop/share/hadoop/mapreduce
目录下
hadoop-mapreduce-client-app-2.7.2.jar
hadoop-mapreduce-client-common-2.7.2.jar
hadoop-mapreduce-client-core-2.7.2.jar
hadoop-mapreduce-client-hs-2.7.2.jar
hadoop-mapreduce-client-hs-plugins-2.7.2.jar
hadoop-mapreduce-client-jobclient-2.7.2.jar
hadoop-mapreduce-client-jobclient-2.7.2-tests.jar
hadoop-mapreduce-client-shuffle-2.7.2.jar
hadoop-mapreduce-examples-2.7.2.jar
命令#
[root@on1 oozie-4.1.0-cdh5.5.2]# cp /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-* /usr/local/oozie-4.1.0-cdh5.5.2/libext/注：/usr/local/hadoop/share/hadoop/mapreduce/目录下的hadoop的jar包hadoop-mapreduce-client-app-2.7.2.jarhadoop-mapreduce-client-common-2.7.2.jarhadoop-mapreduce-client-core-2.7.2.jarhadoop-mapreduce-client-hs-2.7.2.jarhadoop-mapreduce-client-hs-plugins-2.7.2.jarhadoop-mapreduce-client-jobclient-2.7.2.jarhadoop-mapreduce-client-jobclient-2.7.2-tests.jarhadoop-mapreduce-client-shuffle-2.7.2.jarhadoop-mapreduce-examples-2.7.2.jar[root@on1 oozie-4.1.0-cdh5.5.2]# cp /usr/local/hadoop/share/hadoop/hdfs/hadoop-hdfs-* /usr/local/oozie-4.1.0-cdh5.5.2/libext/注：/usr/local/hadoop/share/hadoop/hdfs/下hadoop的jar包hadoop-hdfs-2.7.2.jar hadoop-hdfs-2.7.2-tests.jar hadoop-hdfs-nfs-2.7.2.jar [root@on1 oozie-4.1.0-cdh5.5.2]# cp /usr/local/hadoop/share/hadoop/yarn/hadoop-yarn-* /usr/local/oozie-4.1.0-cdh5.5.2/libext/注：/usr/local/hadoop/share/hadoop/yarn/下hadoop的jar包hadoop-yarn-api-2.7.2.jarhadoop-yarn-applications-distributedshell-2.7.2.jarhadoop-yarn-applications-unmanaged-am-launcher-2.7.2.jarhadoop-yarn-client-2.7.2.jarhadoop-yarn-common-2.7.2.jarhadoop-yarn-registry-2.7.2.jarhadoop-yarn-server-applicationhistoryservice-2.7.2.jarhadoop-yarn-server-common-2.7.2.jarhadoop-yarn-server-nodemanager-2.7.2.jarhadoop-yarn-server-resourcemanager-2.7.2.jarhadoop-yarn-server-sharedcachemanager-2.7.2.jarhadoop-yarn-server-tests-2.7.2.jarhadoop-yarn-server-web-proxy-2.7.2.jar[root@on1 oozie-4.1.0-cdh5.5.2]# cp /usr/local/hadoop/share/hadoop/common/hadoop-* /usr/local/oozie-4.1.0-cdh5.5.2/libext/注：/usr/local/hadoop/share/hadoop/common/下hadoop的jar包hadoop-common-2.7.2.jar hadoop-common-2.7.2-tests.jar hadoop-nfs-2.7.2.jar [root@on1 oozie-4.1.0-cdh5.5.2]# cp /usr/local/hadoop/share/hadoop/common/lib/hadoop-* /usr/local/oozie-4.1.0-cdh5.5.2/libext/注：/usr/local/hadoop/share/hadoop/common/lib/下hadoop的jar包hadoop-annotations-2.7.2.jarhadoop-auth-2.7.2.jar
六、将之前下载好的ext2.2.zip同样解压到libext/目录下
[root@on1 ~]# unzip ext2.2.zip -d /usr/local/oozie-4.1.0-cdh5.5.2/libext
到解压目录看看有没有。
[root@on1 ~]# cd oozie-4.1.0-cdh5.5.2/libext/
[root@on1 libext]# ls
添加权限
[root@on1 hive-1.1.0-cdh5.7.0]# chmod 777 libext/ext-2.2 -R
新建一个oozie文件
[root@on1 hive-1.1.0-cdh5.7.0]# mkder oozie-server/webapps/oozie
七、生成war包下面是一整条命令
[root@on1 oozie-4.1.0-cdh5.5.2]# bin/addtowar.sh -inputwar $OOZIE_HOME/oozie.war -outputwar $OOZIE_HOME/oozie-server/webapps/oozie.war -hadoop 2.7.2 $HADOOP_HOME -extjs /usr/local/oozie-4.1.0-cdh5.5.2/libext/ext2.2.zip
显示下面这样就成功了。
如果不行则
./oozie-server/webapps/oozie
八、放置JDBC驱动，共三个地方
这里二个：将mysql的JDBC驱动，放到之前创建的libext/目录下，还有lib/目录下
下载的这个版本的：mysql-connector-java-5.1.0-bin.jar
同时还要修改下权限：
[root@on1 libext]# chmod 777 /usr/local/oozie-4.1.0-cdh5.5.2/libext/mysql-connector-java-5.1.0-bin.jar
[root@on1 libext]# cp mysql-connector-java-5.1.0-bin.jar ../lib/
最后！还得配置一个地方！
就是这个目录下/usr/local/oozie-4.1.0-cdh5.5.2/oozie-server/webapps/oozie/WEB-INF/lib
这个目录暂时是没有的，在开启实例后，再添加。（第十三步）
[root@on1 lib]# cd /usr/local/oozie-4.1.0-cdh5.5.2/lib
[root@on1 lib]# cp mysql-connector-java-5.1.0-bin.jar /usr/local/oozie-4.1.0-cdh5.5.2/oozie-server/webapps/oozie/WEB-INF/lib/
[root@on1 lib]# ls |grep mysql
mysql-connector-java-5.1.0-bin.jar
[root@on1 lib]# oozie admin -oozie http://on1:11000/oozie -sharelibupdate
[root@on1 lib]# cp mysql-connector-java-5.1.0-bin.jar ../share/lib/sqoop/
九、配置conf/oozie-site.xml文件
主要是配置数据库保存源文件。
[root@on1 conf]# vim oozie-site.xml
在文件底部添加下面这些内容：
<property><name>oozie.db.schema.name</name><value>oozie</value><description>Oozie数据库名称</description></property><property><name>oozie.service.JPAService.create.db.schema</name><value>false</value><description>创建 Oozie DB.如果设置为true，它将创建不存在的DB模式。如果存在DB模式，则为NOP。如果设置为false，则不会创建DB模式。如果DB模式不存在，则启动失败。</description></property><property><name>oozie.service.JPAService.jdbc.driver</name><value>com.mysql.jdbc.Driver</value><description>JDBC驱动程序类。</description></property><property><name>oozie.service.JPAService.jdbc.url</name><value>jdbc:mysql://on1:3306/oozie?createDatabaseIfNotExist=true</value><description>JDBC URL.</description></property><property><name>oozie.service.JPAService.jdbc.username</name><value>root</value><description>数据库用户名。</description></property><property><name>oozie.service.JPAService.jdbc.password</name><value>root</value><description>重要提示:如果密码是emtpy，则保留1个空格字符串，服务将删除该值，如果配置为空，则假定它为空。</description></property><property><name>oozie.service.HadoopAccessorService.hadoop.configurations</name><value>*=/usr/local/hadoop/etc/hadoop</value><description>
逗号分隔的权限=HADOOP_CONF_DIR，其中权限是Hadoop服务(JobTracker, HDFS)的主机:端口。通配符“*”配置用于没有与权限完全匹配的情况。HADOOP_CONF_DIR包含相关的Hadoop *-site.xml文件。如果路径是相对的，则在Oozie配置目录中查找;虽然路径可以是绝对的(例如指向本地文件系统中的Hadoop客户端conf/目录)。
登录mysql,要在MySQL中，创建好用户名和密码。
[root@on1 oozie-4.1.0-cdh5.5.2]# mysql -u root -p
创建用户名为oozie与密码mysql
mysql> create database oozie;
mysql> exit;
十、在hdfs上创建包一般都有不用创建
[root@on1 oozie-4.1.0-cdh5.5.2]# hadoop fs -mkdir -p /user/root
[root@on1 oozie-4.1.0-cdh5.5.2]# pwd
/usr/local/oozie-4.1.0-cdh5.5.2
[root@on1 oozie-4.1.0-cdh5.5.2]# tar -zxvf oozie-sharelib-4.1.0-cdh5.5.2-yarn.tar.gz
[root@on1 oozie-4.1.0-cdh5.5.2]# chmod 777 oozie-sharelib-4.1.0-cdh5.5.2-yarn.tar.gz
[root@on1 oozie-4.1.0-cdh5.5.2]# tar -zxvf oozie-sharelib-4.1.0-cdh5.5.2.tar.gz
[root@on1 oozie-4.1.0-cdh5.5.2]# bin/oozie-setup.sh sharelib create -fs hdfs://on1:9000 -locallib oozie-sharelib-4.1.0-cdh5.5.2-yarn.tar.gz
报错也不用管
[root@on1 oozie-4.1.0-cdh5.5.2]# mkdir /usr/local/oozie-4.1.0-cdh5.5.2/oozie-server/webapps/oozie
[root@on1 oozie-4.1.0-cdh5.5.2]# unzip oozie.war -d /usr/local/oozie-4.1.0-cdh5.5.2/oozie-server/webapps/oozie/
十一、给oozie-server赋予权限
[root@on1 oozie-4.1.0-cdh5.5.2]# chmod 777 oozie-server -R
[root@on1 libext]# chmod 777 ext-2.2 -R
十二、创建数据库脚本，并初始化数据库
[root@on1 oozie-4.1.0-cdh5.5.2]# bin/ooziedb.sh create -sqlfile oozie.sql -run DB Connection
十三、开启oozie的实例
[root@on1 oozie-4.1.0-cdh5.5.2]# bin/oozied.sh start
十四、运行oozie
[root@on1 oozie-4.1.0-cdh5.5.2]# bin/oozied.sh run &
十五、测试、查看
jps一下，出现进程Bootstrap
继续：出现NORMAL就OK了
[root@on1 oozie-4.1.0-cdh5.5.2]# oozie admin -oozie http://on1:11000/oozie -status
System mode: NORMAL
登录页面http://on1:11000/oozie/，可以正常显示如下页面。
[root@on1 ~]# oozie admin -shareliblist
[Available ShareLib]
安装Oozie4.1.0-CDH版本相关推荐
- Debezium系列之：安装部署debezium2.0以上版本的详细步骤
Debezium系列之:安装部署debezium2.0以上版本的详细步骤 一.相关技术博客 二.升级debezium2.0以上版本注意事项 三.安装jdk 四.修改kafka相关参数 五.启动kafk ...
- 安装torchvision-0.12.0+cu113版本
本来想实现多层感知机的算法①y但是需要导入一个d2lzh_pytorch包 解决方法:在网上下载了一个d2lzh_pytorch包的文件夹,放在Lib/site-pakeage目录下 但是运行的时候还 ...
- aix7.1.4上安装12.1.0.2版本RAC集群时遇到的bug无法创建mgmt库
1.具体故障表现: 在AIX 7100-04-03-1642版本操作系统上安装ORACLE 12.1.0.2版本GRID集群软件时,运行root.sh脚本正常构建集群: 之后图形界面脚本之后的操作,在 ...
- Mac下安装iMovie 9.0.9版本
1.在官方网站下载iMovie9.0.9版本 https://support.apple.com/downloads/imovie-9 2.下载完成后,创建一个空的文件夹iMovie 3.打开一个终端 ...
- mysql 密码加密windows_Windows下mysql数据库的安装及8.0以上版本设置密码的命令（简易教学）...
先去官网下载mysql的压缩安装包Download MySQL Community Serverdev.mysql.com 这时应该需要登录有账户的直接登录就可下载,没有账号的可以自行注册 下载完后 ...
- 关于在centos下安装python3.7.0以上版本时报错ModuleNotFoundError No module named _ctypes 的解决办法
3.7版本需要一个新的包libffi-devel,安装此包之后再次进行编译安装即可. #yum install libffi-devel -y #make install 若在安装前移除了/usr/b ...
- Windows 安装 MongoDB 5.0.2版本
MongoDB 下载地址:https://www.mongodb.com/download-center/community 下载 .msi 文件,下载后双击该文件,按操作提示安装. 勾选 I acc ...
- 安装MongoDB [4.0.2版本]
MongoDB简介 MongoDB 是一个基于分布式文件存储的数据库.由C++语言编写.旨在为WEB应用提供可扩展的高性能数据存储解决方案. MongoDB 是一个介于关系数据库和非关系数据库之 ...
- centos7下安装python3.7.0以上版本时报错ModuleNotFoundError: No module named ‘_ctypes‘的解决办法
3.7版本需要一个新的包libffi-devel,安装此包之后再次进行编译安装即可. #yum install libffi-devel -y #make install
- 于在centos下安装python3.7.0以上版本时报错ModuleNotFoundError: No module named '_ctypes'的解决办法
3.7版本需要一个新的包libffi-devel,安装此包之后再次进行编译安装即可. #yum install libffi-devel -y #make install
最新文章
- java编写提升性能的代码
- 汇编实现地址对应值相加
- html提交多个正则表达式,将多个html文件的正则表达式结果写入.txt outfile
- c++运行不出结果_fastjson 不出网利用总结
- [Android][Android Studio] *.jar 与 *.aar 的生成与*.aar导入项目方法
- 时槽越大越好吗_买桃子是“越大越好”吗？老果农：教你一招，保准桃子又甜又好吃...
- 一次TypeScript, React, Node, MongoDB的模板式前后端分离开发实践
- Java的笔记开源软件_开源笔记软件(Jarnal)
- 廖湖声c语言第二版电子版PDF,写给大家看的c语言书(第2版)
- 手机上的截图文字识别功能还有多少人不知道！
- 大数据技术及大数据架构
- 【Windows账户名修改】win10家庭版更改中文账户名
- 爱吃喵粮的小招喵（查找，动态规划）
- 写给理工科人看的乐理（四）和弦与调式
- 服务器端返回的状态码是什么意思
- 从0开始实现一个合成大西瓜
- 小程序生态助力挖掘自有App流量
- 一起领略css3动画的强大
- access denied for user root@localhost using passw
- getAttribute 和setAttribute 的使用方法