CDH安装宝典之ClouderaManager

配置本地repo库

下载我的阿里云盘文件

文件放置

#创建目录
mkdir -p /opt/cloudera/parcel-repo/
mkdir -p /opt/cloudera/cm/
yum install createrepoCDH 6.2.0 的三个文件放到/opt/cloudera/parcel-repo/中，并且注意把sha256后缀的文件名修改为sha#执行createrepo命令生成rpm元数据 最终/opt/cloudera/parcel-repo/会多一个repodata目录
cd /opt/cloudera/parcel-repo/ #(可以忽略，直接使用httpd的var、html CDH 下的就可以）
createrepo .

配置Web服务器

httpd 安装

# 将CHD 和 CM 包复制到 /var/www/html 下 重点要检查哈希码
sha1sum CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel
cat CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel.sha
sha1sum PHOENIX-5.0.0-cdh6.2.0.p0.1308267-el7.parcel
cat PHOENIX-5.0.0-cdh6.2.0.p0.1308267-el7.parcel.shacp -r /opt/cloudera/cm/ /var/www/html/CM #CM不存在
cp -r /opt/cloudera/cm/. /var/www/html/CM #CM存在cp -r /opt/cloudera/parcel-repo/ /var/www/html/CDH #CDH不存在# 各自目录下添加repodata文件
createrepo .systemctl restart httpd

CDH
CM

repo

vim /etc/yum.repos.d/cm.repo
------------------------------------------
[cmrepo]
name=cm_repo
baseurl=http://192.168.166.30/CM
enable=true
gpgcheck=false
------------------------------------------yum repolist
systemctl restart httpd
scp -r /etc/yum.repos.d/cm.repo root@node2:/etc/yum.repos.d/
scp -r /etc/yum.repos.d/cm.repo root@node3:/etc/yum.repos.d/

安装 Cloudera Manager Server (Node1)

安装JDK

（因为已经配置好repo仓库所以yum时会到192.168.166.30/CM目录下找到oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm进行安装）

yum -y install oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm
yum -y install oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm
# 方式二
rpm -ivh oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm
默认安装在 /usr/java/jdk1.8.0_181-cloudera
# 配置 环境变量
vim /etc/profile
#etc/profile 文件中内容如下
JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera
CLASSPATH=.:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH#重新加载profile配置文件，让配置文件生效：
source /etc/profile
scp -r /etc/profile root@NODE2:/etc/
scp -r /etc/profile root@NODE3:/etc/

安装启动CM Server

yum -y install cloudera-manager-server# 初始化数据库
/opt/cloudera/cm/schema/scm_prepare_database.sh mysql cm cm password
#最后一行显示 All done, your SCM database is configured correctly!
ps -ef | grep mysql
#启动（必须保证MySQL启动了）
systemctl start cloudera-scm-server

检查端口是否监听

yum install net-tools #安装 netstat
netstat -lnpt | grep 7180 #要等一段时间(5分钟）启动完全启动成功后，才能看到端口被使用，然后才能真正访问到CM的登录网页
#显示 tcp 0  0 0.0.0.0:7180  0.0.0.0:*  LISTEN  68289/java

日志

tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log
tail -f /var/log/cloudera-scm-agent/cloudera-scm-agent.log
ll /var/log/cloudera-scm-server/

访问 CM

Web CM 安装步骤

服务命令

service cloudera-scm-server startsystemctl restart cloudera-scm-server.service
systemctl start cloudera-scm-server.service
systemctl status cloudera-scm-server.servicesystemctl stop cloudera-scm-server.servicesystemctl start cloudera-scm-agent.service
systemctl status cloudera-scm-agent.service
systemctl stop cloudera-scm-agent.service
systemctl restart cloudera-scm-agent.servicesystemctl start cloudera-scm-server
systemctl start cloudera-scm-agent
systemctl start cloudera-scm-server-dbjournalctl -xe # 查看看看systemctl 的日志

问题

cloudera-scm-server启动失败问题汇总

JDK

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-iO8x3ISH-1641781569354)(…/…/…/图床/安装搭建/jdk问题.png)]
通过命令journalctl -xe发现了一些端倪，提示JAVA_HOME找不到
由于是使用自身的jdk，但是CM使用/usr/java下的jdk；

$JAVA_HOME
mkdir -p /usr/java
ln -s /opt/jdk1.8  /usr/java/default

server和agent启动成功，但是7180端口无效

#修改server配置文件
vi /etc/cloudera-scm-server/db.properties
#自己的配置文件已经添加了配置，但是还是报错，由于是自建数据库
com.cloudera.cmf.db.setupType=EXTERNAL
#索性注释掉这个参数，启动就ok了

端口占用

netstat -tunlp | grep 7180

主机名 hosts

#cdh01机器名
vim /etc/sysconfig/network
#增加如下内容：
NETWORKING=yes
HOSTNAME=cdhvi /etc/hostname
cdhvi /etc/hosts
10.0.0.9 cdh

安装失败。无法接收 Agent 发出的检测信号

是否端口占用

ps -ef | grep supervisord
kill -9 <processID>
sudo service  cloudera-scm-agent restart
#查看这个进程，然后杀死进程，然胡重新启动就可以了。#然后在操作下面的步骤就可以了。
ps aux | grep super
root     18949  0.0  0.1 223624 12996 ?        Ss   11:16   0:00 /opt/cm-5.7.0/lib64/cmf/agent/build/env/bin/python /opt/cm-5.7.0/lib64/cmf/agent/build/env/bin/supervisord
root     23390  0.0  0.0 112656   972 pts/0    S+   11:37   0:00 grep --color=auto super
kill   18949
sudo service cloudera-scm-agent restart
#然后重新再安装就可以了。至此问题解决。

MainThread agent ERROR Heartbeating to 10.0.0.9:7182 failed

Hosts 节点识别出来后无法继续

登录把主机删除

访问 CM

CDH安装宝典之ClouderaManager相关推荐

CDH数仓项目(一) —— CDH安装部署搭建详细流程
0 说明本文以CDH搭建数据仓库,基于三台阿里云服务器从零开始搭建CDH集群,节点配置信息如下: 节点内存安装服务角色 chen102 16G cloudera-scm-server chen1 ...
[CDH安装]--CDH5和Cloudera Manager 5要求和支持的版本
原文: https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html# ...
CDH安装手册（详细过程）
安装步骤第一步:修改主机名修改/etc/sysconfig/network文件: NETWORKING=yes HOSTNAME=master 其中HOSTNAME与主机名一致.主机名如果跟系统安 ...
史上最全cdh安装详细教程
此篇文章主要介绍了CDH在centos 6.x下的安装,在centos 7 版本中的安装以后会推出. 这篇文档将着重介绍Cloudera管理器域CDH的安装,并基于以下假设: >>操作系统 ...
Hadoop之CDH安装
1. 离线数据存储及查询环境部署离线数据的存储与查询主要是以hadoop为中心的技术栈,包括hive,hbase,hue,kylin等.部署hadoop的方式比较流行的主要有三种: 1. 直接部署A ...
CDH安装Tez 0.8.5
CDH安装Tez 0.8.5 1.1前置环境 1)安装JDK 2)安装Maven 下载安装包:apache-maven-3.5.4-bin.tar.gz 解压: tar -zxvf apache-ma ...
Linux下Oracle安装宝典(转)
Linux下Oracle安装宝典(转) 笔者用的是Linux版的Oracle V8.1.6,安装在RedHat Linux 6.0上. ??Oracle的安装包括企业版服务器端和客户端两部分,用户可以 ...
大数据（052）Oozie【Oozie介绍 CDH安装Oozie】
一.什么是Oozie • Oozie是用于 Hadoop 平台的开源的工作流调度引擎. • 用来管理Hadoop作业. • 属于web应用程序,由Oozie client和Oo ...
CDH安装hue报Unexpected error. Unable to verify database connection
文章目录问题描述解决方案问题描述 CDH安装hue时,测试数据库连接报错 Unexpected error. Unable to verify database connection 解决方案 ...

CDH安装宝典之ClouderaManager

配置本地repo库

文件放置

配置Web服务器

repo

安装 Cloudera Manager Server (Node1)

安装JDK

安装启动CM Server

检查端口是否监听

日志

服务命令

问题

cloudera-scm-server启动失败问题汇总

JDK

server和agent启动成功，但是7180端口无效

端口占用

主机名 hosts

安装失败。无法接收 Agent 发出的检测信号

是否端口占用

MainThread agent ERROR Heartbeating to 10.0.0.9:7182 failed

Hosts 节点识别出来后无法继续

CDH安装宝典之ClouderaManager相关推荐

最新文章

热门文章

CDH安装宝典之ClouderaManager

配置本地repo库

文件放置

配置Web服务器

repo

安装 Cloudera Manager Server (Node1)

安装JDK

安装启动CM Server

检查端口是否监听

日志

服务命令

问题

cloudera-scm-server启动失败问题汇总

JDK

server和agent启动成功，但是7180端口无效

端口占用

主机名 hosts

安装失败。 无法接收 Agent 发出的检测信号

是否端口占用

MainThread agent ERROR Heartbeating to 10.0.0.9:7182 failed

Hosts 节点识别出来后无法继续

CDH安装宝典之ClouderaManager相关推荐

最新文章

热门文章

安装失败。无法接收 Agent 发出的检测信号