参考文章

cm和cdh的关系
http://www.fblinux.com/?p=1492

hadoop发行版本介绍
https://www.jianshu.com/p/fc3010c02391

配置hostname，映射文件hosts

为每台服务器配置名称

vim /etc/hostname
添加名称

将所有服务器的名称和ip地址映射写入hosts文件

vim /etc/hosts
ip地址 服务器名称
....
....

关闭防火墙，并禁止开机自启

systemctl stop firewalld
systemctl disable firewalld
# 查看状态
systemctl status firewalld

修改SELinux配置文件/etc/selinux/config，设置SELINUX=disabled。修改完毕后进行重启。

vim /etc/selinux/config

设置yum源

本地yum源：对应的配置文件 /etc/yum.repo/CentOS-Media.repo
网络yum源：对应的配置文件 /etc/yum.repo/CentOS-Base.repo

先走网络源，再走本地源，不想走网络源，就禁止就行

enable : 1 表示开启yum源 0表示禁用这个yum源
gpgcheck=1 表示对rpm进行校验
baseurl 表示源地址，可以是网络http://ftp.sjtu.edu.cn/centos/releasever/contrib/releasever/contrib/releasever/contrib/basearch/
可以是本地 file:///mnt/a/b

yum.conf ： /etc/yum.conf 表示yum源的全局配置文件
/etc/yum.repo/ 下的repo文件表示各种源的配置文件。

参考链接

设置无密钥登陆

#生成公钥和私钥，如果a服务器无密钥访问b服务器，需要将a的公钥放在b服务器中的authorized_keys文件中
ssh-keygen -t rsa
# 将a的公钥放在b服务器中的authorized_keys文件中
ssh-copy-id 服务器b的名称
....
....
# 其他服务器依次类推

时间同步

CDH主要使用chronyd 服务，服务软件包 yum install -y chrony 。
如果需要使用ntpd时间同步，需要卸载chrony。
这两个服务使用一个就可以。

不联网情况

所有的服务器都需要安装 yum install -y chrony
选择其中一台主服务器，当作时钟服务器（192.168.56.170）修改配置文件/etc/chrony.conf

注释掉所有server
# Use public servers from the pool.ntp.org project.
# Please consider joining the pool (http://www.pool.ntp.org/join.html).
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst设置允许同步的客户端网段
# Allow NTP client access from local network.
allow 192.168.0.0/16不能联网的情况下，以本地时钟作为时间源供客户端同步
# Serve time even if not synchronized to a time source.
local stratum 5

其他服务器修改配置文件/etc/chrony.conf

可以把其他的server注释掉，并添加本地时钟服务器。或者机器没有网就不用注释
# Use public servers from the pool.ntp.org project.
# Please consider joining the pool (http://www.pool.ntp.org/join.html).
server 192.168.56.170 iburst

4.所有主机开启服务，并设置开机自启

重启服务
systemctl restart chronyd
开机自启
systemctl enable chronyd

联网情况

https://baijiahao.baidu.com/s?id=1710840211249182513&wfr=spider&for=pc

安装JDK 1.8

下载 jdk-8u161-linux-x64.tar.gz 官网下载需要账号
上传集群中的一个服务器
解压

tar -zxvf jdk-8u161-linux-x64.tar.gz -C /usr/java

配置环境变量

vim /etc/profile.d/my_env.sh
# 添加以下信息
#JAVA_HOME
export JAVA_HOME=/usr/java/jdk1.8.0_161
export PATH=$PATH:$JAVA_HOME/bin

使环境变量生效

source /etc/profile.d/my_env.sh

将 my_env.sh和/usr/java拷贝到其他服务器，并source一下

注意：可以自己写一个脚本，可参考我的hadoop集群搭建的博客

安装mysql5.7 linux的通用版本 generic

1.查看是否安装了mysal 和 mariadb 和 libaio

rpm -qa | grep mysql
rpm -qa | grep mariadb
rpm -qa | grep libaio
#---------------或者------
rpm -qa | grep -i -E mysql
rpm -qa | grep -i -E mariadb
rpm -qa | grep -i -E libaio

如果有mysql或者mariadb，需要卸载掉。如果没有libaio需要安装上

#卸载
rpm -e --nodeps mysql........
rpm -e --nodeps mariadb........
# 安装libaio
yum -y install libaio

将下载的mysql5.7上传到服务器
官网下载需要下载RPM版本的包，一定注意。！这个bundle包含了多个组件，或者你自己每个组件单独下载
解压并安装

#解压
tar -xvf mysql-5.7.30-1.el7.x86_64.rpm-bundle.tar -C mysql
# 依次安装
rpm -ivh mysql-community-common-5.7.30-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-5.7.30-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-compat-5.7.30-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-5.7.30-1.el7.x86_64.rpm
# --force --nodeps解除依赖关系。
rpm -ivh mysql-community-server-5.7.30-1.el7.x86_64.rpm --force --nodeps

启动mysql服务

systemctl start mysqld

获得初始密码

cat /var/log/mysqld.log | grep password2022-03-09T09:45:43.072633Z 1 [Note] A temporary password is generated for root@localhost: MrqPtaQB+6-5

使用初始密码登陆数据库，并修改初始密码，赋予远程root登陆权限

mysql -uroot -p'MrqPtaQB+6-5'
set password=password('Sjcljq@0303');
grant all privileges on *.* to 'root'@'%' identified by 'Sjcljq@0303';
flush privileges;

如果远程连接访问不成功，参考一下文章
https://www.shuzhiduo.com/A/MyJx4aLVJn/

配置mysql驱动，将驱动包上传到集群放置到对应目录。
集群中所有主机须在相同位置部署相同驱动，或使用分发脚本分发

将mysql-connector-java-5.1.27.tar.gz mysql的java驱动包上传到服务器mkdir -p /usr/share/java/tar -zxvf mysql-connector-java-5.1.27.tar.gz -C /usr/share/java/cd /usr/share/java/mysql-connector-java-5.1.27
cp mysql-connector-java-5.1.27-bin.jar /usr/share/java/mysql-connector-java.jar
rm -rf /use/share/java/mysql-connector-java-5.1.27
...
....
将jar包分发到集群其他的服务器的相同的位置中。

配置CM

CDH（Cloudera’s Distribution Including Apache Hadoop）是Hadoop发行版的一种，是一套目前比较完整的、充分测试的Hadoop及其相关项目的发行版。CDH的基础组件均基于apache license开源，无论是个人学习还是企业使用都比较有保障。
CM（cloudera Manager）是一种管理CDH集群的端到端的应用。CM通过对CDH集群的各部分提供精细的可视化和控制，建立了企业级部署的标准，增强了操作人员的能力以提升性能、提升服务质量、提高合规性、降低管理成本。

下载CDH包
https://archive.cloudera.com/cdh6/6.3.2/parcels/

上传任意一台服务器（192.168.56.170）CDH6.3.2.zip压缩包，解压

yum install -y unzip
unzip CDH6.3.2.zip
cd CDH6.3.2

解压cm6.3.1-redhat7.tar.gz

tar -zxvf cm6.3.1-redhat7.tar.gz
cd cm6.3.1
python -m SimpleHTTPServer 8900
可用浏览器访问
192.168.56.170:8900 地址，如响应如下页面，则表示yum仓库发布成功

所有服务器创建yum仓库的repo文件

vim /etc/yum.repos.d/cloudera-manager.repo添加以下内容：
[cloudera-manager]
name=Cloudera Manager 6.3.1
baseurl=http://192.168.56.170:8900/
gpgkey=http://hadoop102.example.com:8900/RPM-GPG-KEY-cloudera
gpgcheck=1
enabled=1
autorefresh=0
type=rpm-md

选择一台主机作为主节点（192.168.56.170），执行以下命令

yum -y install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server

其余主机执行以下命令

yum -y install cloudera-manager-daemons cloudera-manager-agent

安装完毕后,关闭SimpleHTTPServer,

删除所有服务器上的 /etc/yum.repos.d/cloudera-manager.repo 文件
修改Cloudera Manager Agent配置文件

/etc/cloudera-scm-agent/config.ini，每台服务器都要做相同修改

修改内容如下，将server_host参数改为Cloudera Manager Server 所在节点的主机名(Cloudera Manager Server在inamenode01主机上，就都写成inamenode01)

为CM配置数据库

创建各服务所需数据库
进入MySQL客户端，执行以下语句

mysql> CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
mysql> CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
mysql> CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
mysql> CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
mysql> CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
mysql> CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

执行CM数据库配置脚本

/opt/cloudera/cm/schema/scm_prepare_database.sh --host inamenode01 --scm-host inamenode01  mysql scm root Sjcljq@0303

说明：–host 数据库主机名

–scm-host Cloudera Manager Server主机名

mysq 数据库类型

scm 数据库名称

root 数据库用户名

Sjcljq@0303 数据库密码

若Cloudera Manager Server 和 MySQL部署在同一台主机，则可省略–host 和 --scm-host

启动CM

1.在主节点（inamenode01 192.168.56.170）执行以下命令，启动Server 和 Agent

systemctl start cloudera-scm-server cloudera-scm-agent

2.在其余节点执行以下命令，启动Agent

systemctl start cloudera-scm-agent

3.访问Cloudera Manager Server 的Web页面，默认端口号为7180，界面如下
http://192.168.10.121:7180/cmf/login

部署CDH

配置本地parcel库

将CDH6.3.2.zip包下面的CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
复制到
/opt/cloudera/parcel-repo/ 目录下。校验文件是否下载安全，并为parcel文件生成SHA1校验文件
sha1sum CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel | awk '{ print $1 }' > CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha
得到：CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha 文件

更该parcel-repo文件下的所有文件持有者为cloudera-scm用户

chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/*

4.重启Cloudera Manager，令其识别到本地库

sudo systemctl restart cloudera-scm-serve

5.登录Cloudera Manager，初始用户名和密码均为admin。 192.168.10.121:7180
之后就是页面化操作，安装集群环境。

CDH6.3.2环境搭建相关推荐

CDH6.1.0环境搭建完成后登录admin账户失败
CDH环境搭建完成,启动cloudera-manager-server成功,下面是启动日志 [root@node-1 ~]# sudo systemctl start cloudera-scm-ser ...
Cloudera Manager环境搭建【二】
文章目录 CM环境搭建 1. 目标 2. Linux配置优化 2.1 Swappiness虚拟内存 2.2 关闭内存动态分配(内存页*透明化*) 2.3 最大文件句柄 2.4 最大派生进程数 2.5 ...
Anaconda3+python3.7.10+TensorFlow2.3.0+PyQt5环境搭建
Anaconda3+python3.7.10+TensorFlow2.3.0+PyQt5环境搭建一.Anaconda 创建 python3.7环境 1.进入 C:\Users\用户名目录下,找到 ...
Windows10+Anaconda3+Pycharm环境搭建
Windows10+Anaconda3+Pycharm环境搭建一.安装Anaconda3 1.进入 anconda官网,下载Anaconda3 2.安装,选项默认继续安装(可以自行更改安装位置),等 ...
SpringCloud Alibaba微服务实战(一) - 基础环境搭建
说在前面 Spring Cloud Alibaba 致力于提供微服务开发的一站式解决方案.此项目包含开发分布式应用微服务的必需组件,方便开发者通过 Spring Cloud 编程模型轻松使用这些组件来 ...
2021年大数据环境搭建（二）：分布式环境搭建
2021大数据领域优质创作博客,带你从入门到精通,该博客每天更新,逐渐完善大数据各个知识体系的文章,帮助大家更高效学习. 有对大数据感兴趣的可以关注微信公众号:三帮大数据目录分布式环境搭建集群规 ...
2021年大数据Spark（八）：环境搭建集群模式 Standalone HA
环境搭建-Standalone HA 高可用HA Spark Standalone集群是Master-Slaves架构的集群模式,和大部分的Master-Slaves结构集群一样,存在着Master单 ...
2021年大数据Spark（六）：环境搭建集群模式 Standalone
目录环境搭建-Standalone 前言 Standalone 架构集群规划修改配置并分发修改slaves 分发到其他机器修改spark-env.sh 集群启动和 ...
CentOS7环境搭建使用PhpStorm上传代码
一.虚拟机介绍虚拟机(Virtual Machine)指通过软件模拟的具有完整硬件系统功能的.运行在一个完全隔离环境中的完整计算机系统. 虚拟系统通过生成现有操作系统的全新虚拟镜像,它具有真实win ...

CDH6.3.2环境搭建

目录