CentOS7离线安装Cloudera Manager 5.14.1
前言
本文主要记录Centos7.4 离线安装CDH和Cloudera Manager。安装的版本为Cloudera Manager 5.14.1,如遇不同版本,安装方式大致相同。
内容 | 版本 |
---|---|
CentOS | 7.4 64位 |
JDK | 1.7 |
Cloudera Manager | 5.14.1 |
本次安装一共使用6台服务器,均在阿里云采用按量付费方式进行购买。各台服务器配置如下:
编号 | 配置(带宽1M,系统盘赠送的40GB存储足以) | 内网IP(使用了专有网络) | 用途 |
---|---|---|---|
server01 | 2核16GB内存 | 192.168.0.108 | 主,安装CM |
server02 | 2核8GB内存 | 192.168.0.109 | 从,slaver |
server03 | 2核8GB内存 | 192.168.0.110 | 从,slaver |
server04 | 2核8GB内存 | 192.168.0.111 | 从,slaver |
server05 | 2核8GB内存 | 192.168.0.112 | 从,slaver |
server06 | 2核8GB内存 | 192.168.0.113 | 从,slaver |
由于安装过程涉及到下载耗时,建议先完成步骤1后再购买开通服务器,能省一点是一点。
1、提前下载各个离线安装包文件
由于国内网速原因,在开始操刀前,建议各位提前下载以下文件到本地备用,或先购买一台服务器用于下载文件。
1.1 下载JDK1.7(此版本不能使用1.8,CM安装时会重新在线下载1.7)
http://www.oracle.com/technetwork/java/java-archive-downloads-javase7-521261.html
由于Oracle官网限制,需要到上面网站去下载jdk-7u80-linux-x64.rpm 并上传到服务器上。
然后需要去https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.14.1/RPMS/x86_64/
下载oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm
,否则在步骤3.3会联网下载速度很慢。
1.2 下载CM软件包
访问:http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.14.1/RPMS/x86_64/
把上面的所有rpm包都下载回来本地。下载速度慢可以使用axel多线程下载
wget http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.14.1/RPMS/x86_64/cloudera-manager-agent-5.14.1-1.cm5141.p0.1.el7.x86_64.rpmwget http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.14.1/RPMS/x86_64/cloudera-manager-daemons-5.14.1-1.cm5141.p0.1.el7.x86_64.rpmwget http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.14.1/RPMS/x86_64/cloudera-manager-server-5.14.1-1.cm5141.p0.1.el7.x86_64.rpmwget http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.14.1/RPMS/x86_64/cloudera-manager-server-db-2-5.14.1-1.cm5141.p0.1.el7.x86_64.rpmwget http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.14.1/RPMS/x86_64/enterprise-debuginfo-5.14.1-1.cm5141.p0.1.el7.x86_64.rpm
1.3 下载cloudera-manager安装文件
访问:http://archive.cloudera.com/cm5/installer/5.14.1/
下载cloudera-manager-installer.bin
wget http://archive.cloudera.com/cm5/installer/5.14.1/cloudera-manager-installer.bin
1.4 下载rpm仓库文件
访问:http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/
下载cloudera-manager.repo,这个是按系统通用的,下载时不区分版本
wget http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/cloudera-manager.repo
1.5 下载parcel(较大,1.8GB)
访问:http://archive.cloudera.com/cdh5/parcels/5.14.0.24/
下载centos 对应的 parcel ,el7表示centos 7 版本
wget http://archive.cloudera.com/cdh5/parcels/5.14.0.24/CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcelwget http://archive.cloudera.com/cdh5/parcels/5.14.0.24/CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel.sha1
2、服务器基础环境准备
可以购买服务器了,本节主要对服务器基本环境进行设置
2.1 所有节点修改hostname(重启生效)及hosts
为了便于安装过程中对各个服务器的访问更易区分、更便捷,我们需要分别对各个服务器修改hostname及hosts
hostnamectl --static set-hostname server01
修改hosts:
vim /etc/hosts
根据自己的6台服务器IP地址,在最后面增加:
192.168.0.108 server01
192.168.0.109 server02
192.168.0.110 server03
192.168.0.111 server04
192.168.0.112 server05
192.168.0.113 server06
保存退出即可。
2.2 所有节点关闭防火墙和selinux(重启生效)
关闭防火墙:
systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动
firewall-cmd --state #查看默认防火墙状态(关闭后显示notrunning,开启后显示running)
关闭selinux:
vim /etc/selinux/config找到SELINUX改为:
SELINUX=disabled
2.3 所有节点ssh无密码登录
先在server01上执行:
ssh-keygen -t rsa #一路回车到完成ssh-copy-id -i ~/.ssh/id_rsa.pub root@server01 #将公钥拷贝到本机的authorized_keys上
再在其他节点分别执行以下命令:
ssh-keygen -t rsa #一路回车到完成ssh-copy-id -i ~/.ssh/id_rsa.pub root@server01 #注意此处不变,将公钥拷贝到server01的authorized_keys上
在server01上,将authorized_keys分发到其他节点服务器:
scp ~/.ssh/authorized_keys root@server02:~/.ssh/scp ~/.ssh/authorized_keys root@server03:~/.ssh/scp ~/.ssh/authorized_keys root@server04:~/.ssh/scp ~/.ssh/authorized_keys root@server05:~/.ssh/scp ~/.ssh/authorized_keys root@server06:~/.ssh/
2.4 JDK安装
将步骤1.1下载好的jdk使用scp命令(同上一步骤)分发到不同的节点上,分别在每个节点执行以下操作:
卸载系统自带JDK
rpm -qa |grep java #如果有就卸载。没有就不用执行下面yum remove java* #删除自带的java
切换到jdk所在目录,执行安装命令
rpm -ivh jdk-7u80-linux-x64.rpm
rpm -ivh oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm #CM安装需要这个,否则会重新联网下载,造成安装速度非常缓慢
设置环境变量:
vim /etc/profile
在最后面增加:
export JAVA_HOME=/usr/java/jdk1.7.0_80
export CLASSPATH=.:$CLASSPTAH:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin
退出保存,执行以下命令使环境变量生效,并验证JDK安装是否正确。
source /etc/profile #使环境变量生效java -version #查看JDK是否安装正确
2.5 安装ntp时间同步软件
所有节点时间一致非常重要,要不然启动Cloudera Manager服务后,后台会报错。
所有节点执行:
yum install ntp -y
安装完成后,阿里云的服务器会自动使用阿里云的ntp服务器进行同步,故可不再进行下面的配置,直接进入2.6节,若其他没有统一ntp服务器进行同步的,则还需要以下设置:
配置NTP,在server01节点
vim /etc/ntp.conf
修改成如下配置:
server s1a.time.edu.cn preferserver 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst
然后先进行一次时间同步:
/usr/sbin/ntpdate s1a.time.edu.cn
在server02~06上,修改/etc/ntp.conf
配置改为以下
server server01
server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst
子节点需要定期同步主节点的时间,所以需要在各个子节点增加一个定时任务:
#每个从节点,从master节点同步时间
ntpdate server01
#做一个计划任务(从节点)
crontab -e
#表示每3小时同步一次时间
00 */3 * * * /usr/sbin/ntpdate server01 >> /root/ntpdate.log 2>&1
#查看计划任务
crontab -l
所有子节点ntp加入开机启动
chkconfig ntpd on
最后所有服务器检查一下时间是否一致即可。
2.6 上传安装文件
为了便于执行命令,我们将在所有节点中创建~/soft/这样一个目录,并在此目录下进行以下安装操作。如果步骤1中是下载到本地电脑的,则通过xftp等方式将文件上传到主服务器上,再使用scp命令将各个文件拷贝到对应的主机上。主节点和子节点分别需要的文件整理如下:
服务器 | 用途 | 所需文件 |
---|---|---|
server01 | 主 |
cloudera-manager-agent-5.14.1-1.cm5141.p0.2.el7.x86_64.rpm cloudera-manager-daemons-5.14.1-1.cm5141.p0.2.el7.x86_64.rpm cloudera-manager-server-5.14.1-1.cm5141.p0.2.el7.x86_64.rpm cloudera-manager-server-db-2-5.14.1-1.cm5141.p0.2.el7.x86_64.rpm enterprise-debuginfo-5.14.1-1.cm5141.p0.2.el7.x86_64.rpm cloudera-manager-installer.bin cloudera-manager.repo CDH-5.14.1-1.cdh5.14.1.p0.2-el7.parcel CDH-5.14.1-1.cdh5.14.1.p0.2-el7.parcel.sha1 |
server02~server06 | 从 |
cloudera-manager-agent-5.14.1-1.cm5141.p0.2.el7.x86_64.rpm cloudera-manager-daemons-5.14.1-1.cm5141.p0.2.el7.x86_64.rpm cloudera-manager.repo |
至此,所有设置完成。开始Cloudera Manager安装吧!
3 Cloudera Manager安装
3.1 server01主机安装:
cd ~/soft/ #根据2.6约定,所有文件均在此目录下
修改仓库文件cloudera-manager.repo
,把版本号加上
[cloudera-manager]
name = Cloudera Manager
baseurl = https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.14.1/ #主要改这里的版本号
gpgkey = https://archive.cloudera.com/redhat/cdh/RPM-GPG-KEY-cloudera
gpgcheck = 1
开始server01的安装:
yum localinstall --nogpgcheck *.rpm
3.2 从机安装
同3.1,修改cloudera-manager.repo
开始server02~06的安装:
yum localinstall --nogpgcheck *.rpm
最后在server01~06节点检查我们安装包
yum list | grep cloudera
3.3 安装cloduera manager二进制安装包
进入server01的cloudera-manager-installer.bin
所在目录
设置安装权限:
chmod u+x cloudera-manager-installer.bin
执行安装命令:
./cloudera-manager-installer.bin
如果提示需要删除配置文件,则删除该文件
rm -rf /etc/cloudera-scm-server/db.properties
重新执行安装命令,根据安装向导一路next。注意,如果之前master上没有手动安装rpm包此时就会联网下载,下载速度一般都较慢,太费时间。
相同配置下顺利安装时间在1分钟内即可完成。
然后我们在web浏览器访问 http://192.168.0.108:7180/,看是否能打开页面即可,先不要进行登录操作。
注意:chd server服务器启动需要一些时间,等1分钟左右。
如果能访问,那证明 cloudera manager安装正常。
4 CDH服务安装
4.1 制作本地parcel
前面完成cloudera manager安装之后server01会在/opt目录下生成cloudera文件夹,将之前下载好的CDH-*
文件移动到parcel-repo文件夹中
mv CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel /opt/cloudera/parcel-repo/
mv CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel.sha #注意这里有重命名
将cloudera manager的用户授权给/opt
和日志目录:
chown cloudera-scm.cloudera-scm /opt -R
chown cloudera-scm.cloudera-scm /var/log/cloudera-scm-agent -R
重启cloudera-scm-server(重要)
/etc/init.d/cloudera-scm-server restart
重启速度较慢,约1分钟后访问 http://192.168.0.108:7180/ 登陆,账号密码 admin
选择免费版本,一路next开始安装。
这里需要填写我们集群定义的ip或者服务器名称(包括安装CM的主机本身),点击搜索,即可加载出所有主机。全选所有主机,并继续。
这里会出现我们之前mv过去的CDH版本,选择并继续。
如果之前的操作没有问题,这里将会很快完成
接下来,根据需要进行配置或保持默认不变即可,一路继续完成安装。
完成安装后,进入系统
CentOS7离线安装Cloudera Manager 5.14.1相关推荐
- 离线安装Cloudera Manager 5和CDH5(最新版5.9.3) 完全教程(七)界面安装
一.安装过程 1.1 登录 1.2 接受许可协议 1.3 选择免费版本 1.4 选择下一步 1.5 选择当前管理的主机 1.6 选择使用Parcel安装,选择CDH版本,点击继续 1.7 等待安装 此 ...
- Centos7 安装包方式(离线)安装cloudera manager 和 CDH
Centos7 环境下安装CDH 首先要安装cloudera manager 然后通过cm的图形界面来安装CDH 和一些相关组件 需要安装mysql来存储cloudera manager的一些数据 也 ...
- Cloudera Manager 5.14.X 安装部署(上)
1. 安装部署CM 注意事项 服务器的IP地址为静态IP: 系统根目录至少50G: 主机名建议统一小写: python版本为2.7.X: 使用root用户安装,或者具有sudo权限的其他用户. 所需软 ...
- 二进制安装mysql集群_基于二进制安装Cloudera Manager集群
一.环境准备 参考链接:https://www.cnblogs.com/zhangzhide/p/11108472.html 二.安装jdk(三台主机都要做) 下载jdk安装包并解压:tar xvf ...
- 搭建本地Yum软件源安装Cloudera Manager 5
记录操作过程,不过多介绍相关知识以及原理,有问题自行百度或留言讨论. 一.搭建web服务服务器 有两台虚拟机,elephant用于安装cdh-server相关作为管理者,monkey用于安装cdh-a ...
- VMware Fusion安装cloudera manager
题记:最近使用 VirtualBox 安装CDH,通过host-only + NAT 形式配置网络时,配置起来数次失败.遂选用VMware Fusion 重新尝试. 使用素材 硬件 环境配置 Mast ...
- CentOS7 离线安装 ZABBIX 5.0
小伙伴可能遇到了在公司内网环境下无法访问外网情况,无法访问外网yum源部署ZABBIX 对于rpm包依赖问题比较头疼.本文将会进行离线部署实战. 离线安装所需依赖的rpm包.这个包怎么下载呢?依赖的包 ...
- 离线部署 Cloudera Manager 5 和 CDH 5.12.1 及使用 CDH 部署 Hadoop 集群服务
Cloudera Manager Cloudera Manager 分为两个部分:CDH和CM. CDH是Cloudera Distribution Hadoop的简称,顾名思义,就是cloudera ...
- 安装Cloudera manager Server步骤详解
安装Cloudera manager Server步骤详解 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客主要是针对:https://www.cnblogs.com/yin ...
- centos7离线安装ansible
centos7离线安装ansible: 1.通过在线的centos7将rpm包下载好了,上传到指定服务器. 下载官方repo,rpm -iUvh http://dl.Fedoraproject.org ...
最新文章
- 动态链接库dll,静态链接库lib, 导入库lib
- 北京python培训班价格-北京Python启蒙班
- 自动转换会出现的问题
- 计算机与现代化投稿流程,计算机与现代化投稿须知
- 30分钟正则表达式入门
- centos7安装minikube
- [操作系统实验lab4]实验报告
- 子系统单点登录配置说明
- python来进行社团划分
- c语言数据类型上机题,2011计算机二级C语言自测题:数据类型及其运算
- 【图像去噪】基于matlab邻域的自适应小波阈值图像去噪【含Matlab源码 1188期】
- 银行联行号cnasp查询(二)
- 结合环境专业计算机思维论文,环境艺术设计思维的表达论文范文
- 软件工程中国学科排名——2021软科
- ASP.NET MVC里ModelState.IsValid总是true或者总是false
- 十一、Latex的数学矩阵排版
- 2021年奥利给好看高考倒计时源码
- ubuntu chromium代码编译
- IDEA服务器激活码
- 双 JK 触发器 74LS112 逻辑功能。真值表_时序逻辑电路设计(一):同步计数器...
热门文章
- Processing笔记04—鼠标键盘识别
- 《游戏设计艺术(第2版)》——学习笔记(13)第13章 游戏机制必须平衡
- 分享55个计数统计PHP源码,总有一款适合你
- J2SE J2EE J2ME名字的来历
- 英语计算机的读音,井号'#'用英语怎么说(计算机字符 - 英文读音)
- 敬业签电脑桌面便签软件怎么绑定手机号码?
- 不能显示隐藏文件解决方法
- arduino智能闹钟_要写一个Arduino的电子闹钟程序,板子是Arduino UNO,和一个实时钟的芯片DS1307,开发环境是Arduino-1.0.2...
- ios 中h5网页跳到第三方后回到项目字体变大
- 为什么程序员不应该在同一家公司待太久?