Cloudera Manager

Cloudera Manager 分为两个部分：CDH和CM。

CDH是Cloudera Distribution Hadoop的简称，顾名思义，就是cloudera公司发布的Hadoop版本，封装了Apache Hadoop，提供Hadoop所有的服务，包括HDFS,YARN,MapReduce以及各种相关的components:HBase, Hive, ZooKeeper,Kafka等。

CM是cloudera manager的简称，是CDH的管理平台，主要包括CM server, CM agent。通过CM可以对CDH进行配置，监测，报警，log查看，动态添加删除各种服务等。

一、准备工作

环境

JDK:1.8
centos:7.3操作系统：CentOS 6
JDK 版本：1.7.0_80所需安装包及版本说明：由于我们的操作系统为CentOS7，需要下载以下文件：cloudera-manager-centos7-cm5.12.1_x86_64.tar.gzCDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcelCDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1manifest.json

Cloudera Manager 下载目录 http://archive.cloudera.com/cm5/cm/5/

CDH 下载目录 http://archive.cloudera.com/cdh5/parcels/5.12.1/

manifest.json 下载 http://archive.cloudera.com/cdh5/parcels/5.12.1/manifest.json

CHD5 相关的 Parcel 包放到主节点的/opt/cloudera/parcel-repo/目录中

CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1 重命名为 CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha

这点必须注意，否则，系统会重新下载 CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel 文件

本文采用离线安装方式，在线安装方式请参照官方文

　　CDH，全称Cloudera's Distribution, including Apache Hadoop。是Hadoop众多分支中对应中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，提供了Hadoop的核心（可扩展存储、分布式计算），最为重要的是提供基于web的用户界面。

　　CDH的优点：版本划分清晰，更新速度快，支持Kerberos安全认证，支持多种安装方式（如Yum、rpm等）。

　　CDH分为Cloudera Manager管理平台和CDH parcel（parcel包含各种组件的安装包）。这里采用CDH6.2.0。

　　Cloudera Manger下载地址为https://archive.cloudera.com/cm6/6.2.0/redhat7/yum/RPMS/x86_64/，如图：

　　

　　CDH6.2.0安装包地址为：https://archive.cloudera.com/cdh6/6.2.0/parcels/

　　由于操作系统为CentOS7，需要下载以下文件：

　　

　　上述文件整理资料百度云下载地址为：

　　链接: https://pan.baidu.com/s/1Dm5Elf9uQqn14BUbgU3AFQ 提取码: mws3

2. 安装步骤

说明：以下操作都是在root用户下进行的

2.1 环境准备

2.1.1. 准备虚拟机（根据自己的系统资源分配虚拟机资源）

2.1.2. 静态IP设置（每个节点）

vim /etc/sysconfig/network-scripts/ifcfg-eth0

service network restart 重启网络生效

yum install -y net-tools ifconfig查看设置

2.1.3. 编辑/etc/hosts文件（每个节点）

vim /etc/hosts

2.1.4. 关闭防火墙、禁止防火墙开机自启（每个节点）

  • systemctl stop firewalld 关闭防火墙
  • systemctl disable firewalld 禁止防火墙开机自启
  • vim /etc/selinux/config —> SELINUX=disabled (修改)

2.1.5. ssh无密码登录

  • manager节点执行ssh-keygen -t rsa 一路回车到结束，在/root/.ssh/下面会生成一个公钥文件id_rsa.pub
  • cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 将公钥追加到authorized_keys
  • chmod 600 ~/.ssh/authorized_keys 修改权限
  • 将~/.ssh从当前节点分发到其他各个节点。如：scp -r ~/.ssh/ root@node1:~/.ssh/
  • ssh 各个节点互相登陆

2.1.6. 配置NTP服务（所有节点）

  • 修改时区（改为中国标准时区）ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
  • 安装ntp yum -y install ntp
  • ntp主机配置 vim /etc/ntp.conf
  • manager节点

其余节点

  • 重新启动 ntp 服务：service ntpd restart
  • 设置开机自启：systemctl enable ntpd.service
  • ntpdc -c loopinfo #查看与时间同步服务器的时间偏差
  • ntpq -p #查看当前同步的时间服务器
  • ntpstat #查看状态
  • 配置成功状态（服务开启后前面出现*说明成功）：

2.1.7. 修改Linux swappiness参数(所有节点）

为了避免服务器使用swap功能而影响服务器性能，一般都会把vm.swappiness修改为0（cloudera建议10以下）

  • 上述方法rhel6有效，rhel7.2中:tuned服务会动态调整系统参数
  • 查找tuned中配置，直接修改配置
  • cd /usr/lib/tuned/
  • grep “vm.swappiness” * -R 查询出后依次修改

修改完确认:

参考：sysctl修改内核参数 重启不生效 https://blog.csdn.net/ygtlovezf/article/details/79014299

2.1.8. 禁用透明页(所有节点）

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
永久生效 在/etc/rc.local 添加上面命令

给与可执行权限：chmod +x /etc/rc.d/rc.local

2.1.9. JDK安装（所有节点）

  • rpm -qa | grep java # 查询已安装的java
  • yum remove java* # 卸载
  • rpm -ivh oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm
  • vi /etc/profile 末尾添加

  • source /etc/profile
  • java -version验证

2.1.10. 创建/usr/share/java目录，将mysql-jdbc包放过去（所有节点）

  • mkdir -p /usr/share/java
  • mv /opt/mysql-j/mysql-connector-java-5.1.34.jar /usr/share/java/
  • mysql-connector-java-5.1.34.jar 一定要命名为mysql-connector-java.jar

2.1.11. 为保证防火墙、虚拟机参数修改后生效，各节点机器需要重启 reboot

2.1.12. Mysql安装

卸载原生的mariadb，安装mysql：

  • rpm -qa|grep mariadb
  • rpm -e --nodeps mariadb-libs-5.5.60-1.el7_5.x86_64
  • cd /opt/mysql/
  • tar -xvf ./mysql-5.7.19-1.el7.x86_64.rpm-bundle.tar
  • rpm -ivh mysql-community-common-5.7.19-1.el7.x86_64.rpm
  • rpm -ivh mysql-community-libs-5.7.19-1.el7.x86_64.rpm
  • rpm -ivh mysql-community-client-5.7.19-1.el7.x86_64.rpm
  • rpm -ivh mysql-community-server-5.7.19-1.el7.x86_64.rpm
  • rpm -ivh mysql-community-libs-compat-5.7.19-1.el7.x86_64.rpm

MYSQL配置如下:

  • mysqld --initialize --user=mysql # 初始化mysql使mysql目录的拥有者为mysql用户
  • cat /var/log/mysqld.log # 最后一行将会有随机生成的密码
  • systemctl start mysqld.service # 设置mysql服务自启
  • mysql -uroot –p 如果不能登陆
  • systemctl restart mysqld
  • #登录并修改mysql的管理者密码

　　　　$>mysql -u root
　　　　mysql>use mysql;
　　　　mysql>set password = PASSWORD('root');
　　　　mysql>exit;

  • 创建库(后续安装服务等使用)

create database cmserver default charset utf8 collate utf8_general_ci;
grant all on cmserver.* to 'cmserveruser'@'%' identified by 'root';create database metastore default charset utf8 collate utf8_general_ci;
grant all on metastore.* to 'hiveuser'@'%' identified by 'root';create database amon default charset utf8 collate utf8_general_ci;
grant all on amon.* to 'amonuser'@'%' identified by 'root';create database rman default charset utf8 collate utf8_general_ci;
grant all on rman.* to 'rmanuser'@'%' identified by 'root';create database oozie default charset utf8 collate utf8_general_ci;
grant all on oozie.* to 'oozieuser'@'%' identified by 'root';create database hue default charset utf8 collate utf8_general_ci;
grant all on hue.* to 'hueuser'@'%' identified by 'root';

2.1.13. 安装Httpd服务（manager）

  • yum install httpd
  • systemctl start httpd
  • systemctl enable httpd.service 设置httpd服务开机自启

2.1.14. 配置Cloudera Manager包yum源（manager节点）

  • mkdir -p /var/www/html/cloudera-repos/
  • 将下载的cm包文件移到此目录下:
  • mv cm6 /var/www/html/cloudera-repos/
  • cd /var/www/html/cloudera-repos/cm6/
  • 创建repodata： createrepo .

  • vim /etc/yum.repos.d/cloudera-manager.repo

　　注意路径：http://manager/cloudera-repos/cm6/

  • yum clean all
  • yum makecache

2.1.15.导入GPG key（如果没有这步操作，很可能cloudera服务安装失败）manager节点

  • rpm --import http://manager/cloudera-repos/cm6/RPM-GPG-KEY-cloudera

2.1.16. 安装 Cloudera Manager（manager节点）

  • sudo yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server
  • 安装完CM后/opt/ 下会出现cloudera目录
  • mv /opt/parcels/* /opt/cloudera/parcel-repo # 将parcel包移动到指定位置
  • 在/opt/cloudera/parcel-repo执行以下命令：
  • sha1sum CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel | awk ‘{ print $1 }’ > CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel.sha

  • 执行初始化脚本:
  • /opt/cloudera/cm/schema/scm_prepare_database.sh mysql cmserver cmserveruser password
  • 打开server服务:
  • service cloudera-scm-server start
  • 静候几分钟，打开http://manager:7180

2.2 其他服务安装

2.2.1 登录cm WEB界面

http://主机ip:7180/cmf/login 访问CM
用户名admin
密码admin
遇到问题：7180服务没有启动
解决方法：

查看端口服务，未启动

cm服务启动显示正常。
我在刚启动服务后7180没有启动，没找到什么原因，后来 晾了它一晚上，第二天一查端口，居然启动了，可能是cm服务要启动的东西太多，主机一时没启动。

启动成功！

备注：
linux查看端口：https://www.cnblogs.com/Archmage/p/7570716.html

2.2.2 具体安装步骤

WELCOME

Accept License

Select Edition

版本选择免费版，已经够用。

Welcome (Add Cluster - Installation)

Specify Hosts

主机是自己规划安装agent的主机

Select Repository

JDK 安装选项

Enter Login Credentials

Install Agents

最到考验网速的时候了，该页面使用js进行刷新，千万别手动刷新，手动刷新的话安装列表中之前已经功成的会消失，未成功的显示，未成功即使安装成功了，cm会管理不到之前已经成功但刷新后未显示的主机，在安装集群时只能选择本次显示的（原因未知）。网速过慢的话安装会失败，一定要耐心等待，别做无关操作。

失败重试直到成功，再次说明，耐心等待。

n次失败之后终于安装成功！

Install Parcels

安装成功！等了有将近半天的时候。。。

Inspect Hosts

问题处理：
时钟同步是由于我恢复过一次镜像，在手动同步一下即可。
服务端启动（恢复镜像居然没启动)

各台同步

虚拟内存设置：
Cloudera 建议将 /proc/sys/vm/swappiness 设置为0-10。当前设置为 30。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf，以在重启后保存该设置。您可以继续进行安装，但 Cloudera Manager 可能会报告您的主机由于交换而运行状况不良。以下主机将受到影响：

查看详细信息
cdh[171-174]
解决：
临时解决
通过echo 10 > /proc/sys/vm/swappiness即可解决。
永久解决
sysctl -w vm.swappiness=10
echo vm.swappiness = 10 >> /etc/sysctl.conf

透明大页问题：
已启用透明大页面压缩，可能会导致重大性能问题。请运行“echo never > /sys/kernel/mm/transparent_hugepage/defrag”和“echo never > /sys/kernel/mm/transparent_hugepage/enabled”以禁用此设置，然后将同一命令添加到 /etc/rc.local 等初始化脚本中，以便在系统重启时予以设置。以下主机将受到影响:
查看详细信息
cdh[171-174]
处理：
大内存页禁用
echo never>/sys/kernel/mm/transparent_hugepage/defrag
echo never>/sys/kernel/mm/transparent_hugepage/enabled

升级软件依赖版本
Starting with CDH 6, PostgreSQL-backed Hue requires the Psycopg2 version to be at least 2.5.4, see the documentation for more information. This warning can be ignored if hosts will not run CDH 6, or will not run Hue with PostgreSQL. The following hosts have an incompatible Psycopg2 version of ‘2.5.1’:
查看详细信息
cdh[171-174]
本次忽略
处理完成：

2.3 大数据组件安装

正式安装前拍个快照

Select Services

自定义角色分配

数据库设置

这里测试了一晚上。。。

审核更改（可以自己更改目录，我使用的是默认）

cdh管理界面，大功告成：

第一次进入后，许多服务标红，查看后是agent与cm失去连接。
#ntpstat（所有节点）
只有cm启动，其余莫名停止。
#systemctl start ntpd（停止节点）
#ntpdate -u cdh1（ntp服务端）
在失去的节点 执行
service cloudera-scm-agent restart（停止节点）
重启 正常启动不报错
注
service cloudera-scm-agent status（查看 agent 状态）

总结

【参考资料】

https://blog.csdn.net/wolf_333/article/details/89071203

http://www.cnblogs.com/mylovelulu/p/10384732.html

https://blog.csdn.net/qq_40127822/article/details/84441869

https://www.cnblogs.com/raphael5200/p/5293960.html

https://www.waitig.com/%E5%AF%B9cloudera-hadoop%E5%A4%9A%E4%B8%80%E4%BA%9B%E4%BA%86%E8%A7%A3.html cdh切换日志目录

https://www.520mwx.com/view/46525 cdh服务器磁盘划分

好文要顶 关注我 收藏该文  

    
     
     
     
     
     
     
     

二、系统环境搭建

1、网络配置(所有节点)

修改 hostname

命令格式

hostnamectl set-hostname <hostname>

依次修改所有节点 node[1-7]

hostnamectl set-hostname node1

重启服务器

reboot

修改映射关系

1.在 node1 的 /etc/hosts 文件下添加如下内容

$ vi /etc/hosts

2.查看修改后的/etc/hosts 文件内容

[root@node7 ~]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6192.168.252.121 node1
192.168.252.122 node2
192.168.252.123 node3
192.168.252.124 node4
192.168.252.125 node5
192.168.252.126 node6
192.168.252.127 node7

2、SSH 免密码登录

1.在集群node1的 /etc/ssh/sshd_config 文件去掉以下选项的注释

vi /etc/ssh/sshd_config 
RSAAuthentication yes      #开启私钥验证
PubkeyAuthentication yes   #开启公钥验证

2.将集群node1 修改后的 /etc/ssh/sshd_config 通过 scp 命令复制发送到集群的每一个节点

for a in {2..7} ; do scp /etc/ssh/sshd_config node$a:/etc/ssh/sshd_config ; done

3.生成公钥、私钥

1.在集群的每一个节点节点输入命令 ssh-keygen -t rsa -P ''，生成 key，一律回车

ssh-keygen -t rsa -P ''

4.在集群的node1 节点输入命令

将集群每一个节点的公钥id_rsa.pub放入到自己的认证文件中authorized_keys;

for a in {1..7}; do ssh root@node$a cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys; done

5.在集群的node1 节点输入命令

将自己的认证文件 authorized_keys ` 通过 scp 命令复制发送到每一个节点上去: /root/.ssh/authorized_keys

for a in {1..7}; do scp /root/.ssh/authorized_keys root@node$a:/root/.ssh/authorized_keys ; done

6.在集群的每一个节点节点输入命令

接重启ssh服务

sudo systemctl restart sshd.service

7.验证 ssh 无密登录

开一个其他窗口测试下能否免密登陆

例如：在node3

ssh root@node2

exit 退出

3、关闭防火墙

systemctl stop firewalld.service

4、关闭 SELINUX

查看

[root@node1 ~]# getenforce
Enforcing
[root@node1 ~]# /usr/sbin/sestatus -v
SELinux status:

临时关闭

## 设置SELinux 成为permissive模式
## setenforce 1 设置SELinux 成为enforcing模式
setenforce 0

永久关闭

vi /etc/selinux/config

将 SELINUX=enforcing 改为 SELINUX=disabled

设置后需要重启才能生效

PS 我是修改node1 的 /etc/selinux/config 后，把配置文件复制到其他节点

for a in {2..7}; do scp /etc/selinux/config root@node$a:/etc/selinux/config ; done

重启所有节点

reboot

5、安装 JDK

下载Linux环境下的jdk1.8，请去（官网）中下载jdk的安装文件

我在百度云盘分下的链接：http://pan.baidu.com/s/1jIFZF9s 密码：u4n4

上传在 /opt 目录

解压

cd /opt
tar zxvf jdk-8u144-linux-x64.tar.gz
mv jdk1.8.0_144/ /lib/jvm

配置环境变量

vi /etc/profile
#jdk
export JAVA_HOME=/lib/jvm
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

使环境变量生效

source /etc/profile

验证

[root@localhost ~]# java -version
java version "1.8.0_144"
Java(TM) SE Runtime Environment (build 1.8.0_144-b01)
Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)

6、设置 NTP

所有节点安装 NTP

yum install ntp

设置同步

ntpdate -d 182.92.12.11

7、安装配置 MySql

主节点 安装 MySql

MySQL依赖于libaio 库

yum search libaio
yum install libaio

下载，解压，重命名

通常解压在 /usr/local/mysql

把mysql-5.7.19-linux-glibc2.12-x86_64 文件夹，重命名成mysql,这样就凑成/usr/local/mysql目录了

cd /opt/
wget https://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.19-linux-glibc2.12-x86_64.tar.gz
tar -zxvf /opt/mysql-5.7.19-linux-glibc2.12-x86_64.tar.gz -C /usr/local/
mv /usr/local/mysql-5.7.19-linux-glibc2.12-x86_64/ /usr/local/mysql

1. 新建用户组和用户

groupadd mysql
useradd mysql -g mysql

2. 创建目录并授权

cd /usr/local/mysql/
mkdir data mysql-files
chmod 750 mysql-files
chown -R mysql .
chgrp -R mysql .

3. 初始化MySQL

bin/mysqld --initialize --user=mysql # MySQL 5.7.6 and up

4. 注意密码 mysql 临时密码

[注意]root@localhost生成临时密码：;b;s;)/rn6A3,也就是root@localhost:后的字符串

2017-09-24T08:34:08.643206Z 1 [Note] A temporary password is generated for root@localhost: D<qha)5gtr<!

5. 授予读写权限

chown -R root .
chown -R mysql data mysql-files

6. 添加到MySQL 启动脚本到系统服务

cp support-files/mysql.server /etc/init.d/mysql.server

7. 给日志目录授予读写权限

mkdir /var/log/mariadb
touch /var/log/mariadb/mariadb.log
chown -R mysql:mysql /var/log/mariadb

8. 修改 /etc/my.cnf

vi /etc/my.cnf

修改 [mysqld]组下的 socket 路径，注释掉/var/lib/mysql/mysql.sock，加一行为tmp/mysql.soc

[mysqld]
datadir=/var/lib/mysql
#socket=/var/lib/mysql/mysql.sock
socket=/tmp/mysql.sock

9.启动MySQL服务

service mysql.server start

或者

/usr/local/mysql/support-files/mysql.server start

10. 登录MySQL

/usr/local/mysql/bin/mysql -uroot -p
Enter password:

如果不知道密码 密码在，安装MySQL步骤 4 ，有提到，怎么找初始化临时密码

11. 设置MySQL密码

登陆成功后，设置MySQL密码

mysql> ALTER USER   'root'@'localhost' identified by 'mima';
mysql> flush privileges;

12. 开启远程登录

mysql> grant all privileges on *.*  to  'root'@'%'  identified by 'mima'  with grant option;
mysql> flush privileges;
mysql> exit;

8、下载依赖包

yum -y install chkconfig
yum -y install bind-utils
yum -y install psmisc
yum -y install libxslt
yum -y install zlib
yum -y install sqlite
yum -y install cyrus-sasl-plain
yum -y install cyrus-sasl-gssapi
yum -y install fuse
yum -y install portmap
yum -y install fuse-libs
yum -y install redhat-lsb

三、cloudera manager Server & Agent 安装

1、安装 CM Server & Agent

在所有节点，创建/opt/cloudera-manager

mkdir /opt/cloudera-manager

把下载好的cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz安装包上传至 node1 节点/opt/目录

在 node1 节点拷贝 cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz 到所有 Server、Agent 节点创建 /opt/cloudera-manager 目录：

for a in {2..7}; do scp /opt/cloudera-manager-*.tar.gz root@node$a:/opt/ ; done

所有 Server、Agent 节点节点解压安装 Cloudera Manager Server & Agent

cd /opt
tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager

2、创建用户 cloudera-scm（所有节点）

cloudera-scm 用户说明，摘自官网：

Cloudera Manager Server and managed services are configured to use the user account cloudera-scm by default, creating a user with this name is the simplest approach. This created user, is used automatically after installation is complete.

Cloudera管理器服务器和托管服务被配置为在默认情况下使用用户帐户Cloudera-scm，创建具有这个名称的用户是最简单的方法。创建用户，在安装完成后自动使用。

执行：在所有节点创建cloudera-scm用户

useradd --system --home=/opt/cloudera-manager/cm-5.12.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

3、配置 CM Agent

修改 node1 节点

/opt/cloudera-manager/cm-5.12.1/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名。

cd /opt/cloudera-manager/cm-5.12.1/etc/cloudera-scm-agent/
vi config.ini

在node1 操作将 node1 节点修改后的 (复制到所有节点)

for a in {1..7}; do scp /opt/cloudera-manager/cm-5.12.1/etc/cloudera-scm-agent/config.ini root@node$a:/opt/cloudera-manager/cm-5.12.1/etc/cloudera-scm-agent/config.ini ; done

4、配置 CM Server 的数据库

在主节点 node1 初始化CM5的数据库：

下载 mysql 驱动包

cd /opt/cloudera-manager/cm-5.12.1/share/cmf/lib
wget http://maven.aliyun.com/nexus/service/local/repositories/hongkong-nexus/content/Mysql/mysql-connector-java/5.1.38/mysql-connector-java-5.1.38.jar

启动MySQL服务

service mysql.server start
cd /opt/cloudera-manager/cm-5.12.1/share/cmf/schema/./scm_prepare_database.sh mysql cm -h node1 -uroot -pmima --scm-host node1 scm scm scm

看到如下信息，恭喜您，配置没毛病

[main] DbCommandExecutor              INFO  Successfully connected to database.
All done, your SCM database is configured correctly!

格式:

scm_prepare_database.sh mysql cm -h <hostName> -u<username>  -p<password> --scm-host <hostName>  scm scm scm对应于：数据库类型  数据库 服务器 用户名 密码  –scm-host  Cloudera_Manager_Server 所在节点……

5、创建 Parcel 目录

Manager 节点创建目录/opt/cloudera/parcel-repo，执行：

将下载好的文件

CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel
CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha
manifest.json

拷贝到该目录下。

mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
cd /opt/cloudera/parcel-repo

重命名，CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1 否则，系统会重新下载 CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel

mv CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1 CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha

Agent 节点创建目录/opt/cloudera/parcels，执行：

mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

6、启动 CM Manager&Agent 服务

注意，mysql 服务启动，防火墙关闭

在 node1 (master) 执行：

Server

/opt/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-server start

在 node2-7 (Agents) 执行：

Agents

/opt/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-agent start

访问 http://Master:7180 若可以访问（用户名、密码：admin），则安装成功。

Manager 启动成功需要等待一段时间，过程中会在数据库中创建对应的表需要耗费一些时间。

四、CDH5 安装

CM Manager && Agent 成功启动后，登录前端页面进行 CDH 安装配置。

免费版本的 CM5 已经去除 50 个节点数量的限制。

各个 Agent 节点正常启动后，可以在当前管理的主机列表中看到对应的节点。

选择要安装的节点，点继续。

点击，继续，如果配置本地 Parcel 包无误，那么下图中的已下载，应该是瞬间就完成了，然后就是耐心等待分配过程就行了，大约 10 多分钟吧，取决于内网网速。

（若本地 Parcel 有问题，重新检查步骤三、5 是否配置正确）

点击，继续，如果配置本地Parcel包无误，那么下图中的已下载，应该是瞬间就完成了，然后就是耐心等待分配过程就行了，大约10多分钟吧，取决于内网网速。

遇到问题

问题一 接下来是服务器检查，可能会遇到以下问题：

Cloudera 建议将 /proc/sys/vm/swappiness 设置为最大值 10。当前设置为 30。

使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf，以在重启后保存该设置。

您可以继续进行安装，但 Cloudera Manager 可能会报告您的主机由于交换而运行状况不良。以下主机将受到影响：node[2-7]

echo 0 > /proc/sys/vm/swappiness

问题二 已启用透明大页面压缩，可能会导致重大性能问题。请运行 echo never > /sys/kernel/mm/transparent_hugepage/defrag和 echo never > /sys/kernel/mm/transparent_hugepage/enabled 以禁用此设置，然后将同一命令添加到 /etc/rc.local 等初始化脚本中，以便在系统重启时予以设置。以下主机将受到影响: node[2-7]

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

五、脚本

MySql 建库&&删库

1、MySql 建库&&删库

amon

create database amon DEFAULT CHARACTER SET utf8;
grant all on amon.* TO 'amon'@'%' IDENTIFIED BY 'amon';

hive

create database hive DEFAULT CHARACTER SET utf8;
grant all on hive.* TO 'hive'@'%' IDENTIFIED BY 'hive';

oozie

create database oozie DEFAULT CHARACTER SET utf8;
grant all on oozie.* TO 'oozie'@'%' IDENTIFIED BY 'oozie';

离线部署 CDH 6.2 及使用 CDH 部署 Hadoop3 大数据平台集群服务相关推荐

  1. 离线部署 CDH 5.12.1 及使用 CDH 部署 Hadoop 大数据平台集群服务

    Cloudera Manager Cloudera Manager 分为两个部分:CDH和CM. CDH是Cloudera Distribution Hadoop的简称,顾名思义,就是cloudera ...

  2. 现学现用大数据分布式集群环境部署

    导读:        随着大数据时代的到来,传统的GIS分析工具越来越难以满足对超大体量空间数据的分析需求.SuperMap iServer 9D(本文简称iServer)实现了地理信息服务的分布式集 ...

  3. 大数据平台比较-CDH、HDP、CDP

    说到大数据,不得不提一下Hadoop.先来谈一谈 Apache Hadoop与CDH.HDP的比较 一.Hadoop版本综述 不收费的Hadoop版本主要有三个(均是国外厂商),分别是:Apache( ...

  4. 大数据平台CDH搭建

    一.概述 Cloudera版本(Cloudera's Distribution Including Apache Hadoop,简称"CDH"),基于Web的用户界面,支持大多数H ...

  5. CM+CDH构建企业大数据平台系列（一）

    问题导读: 1.CM是什么? 2.CDH是什么? 3.CM+CDH是什么? 4.什么是企业大数据平台? 5.如何用CM+CDH构建企业大数据平台? .......... 带着种种疑问让我们开启真正的企 ...

  6. 大数据平台CDH的介绍和5.16/6.3版本的搭建

    以下记录和介绍为自己在测试环境中的实际操作,因为很详细,所以篇幅较长,作为自己的记录文档,同时也帮助初学大数据平台搭建的朋友. 目录 1. CDH介绍 Hadoop主流三大发行版本: 1.1 CDH体 ...

  7. CDH大数据平台搭建之SPARK集群搭建

    CDH大数据平台搭建之SPARK集群搭建 一.安装规划 二.下载 三.安装及配置 1.解压 2.修改配置文件 四.启动 五.JPS检查节点 一.安装规划 参考CHD大数据平台搭建之集群规划 二.下载 ...

  8. 大数据平台搭建，cdh选型配置

    天天干后端,又干前端,本行大数据,差点生疏了,哦吼~正当我发愁之际. 领导安排任务了,下个月去某控上市公司.他们需要从0 开始做大数据平台,主要工作内容如下, 平台搭建,数据迁移,数据分析与挖掘.然后 ...

  9. CDH大数据平台搭建之虚拟环境配置

    CDH大数据平台搭建之虚拟环境配置 前言 一.虚拟机网络配置 1.配置ip地址 2.验证配置是否成功 二.关闭防火墙 1.防火墙命令 2.禁用防火墙 三.虚拟机主机名配置 1.临时配置主机名 2.永久 ...

最新文章

  1. 计算机网络管理云红艳电子版,计算机网络管理pdf
  2. getparameter的使用
  3. iframe 覆盖父页面_一次iframe子页面与父页面的通信
  4. 国外网站评出对程序员最具影响的书籍清单
  5. Linux find和grep的区别
  6. ib课程计算机科学教材,IB国际课程包括哪些学科内容？IB国际课程都有哪些教材？...
  7. socket 函数 setsockopt()用法
  8. Monkey测试：日志信息分析
  9. Ubuntu16.04 设置自启动脚本，系统重启自动执行自定义脚本任务
  10. Socket套接字简介
  11. 别再为了this发愁了：JS中的this机制
  12. Android开发动态设置view宽度和高度layoutParams的单位问题
  13. 物流项目管理的团队建设 (zt)
  14. 【Android】 使用AndServer框架在手机上搭建服务器
  15. STM32连接WIFI-ESP8266获取天气信息---STA模式运用
  16. 《小狗钱钱》理财摘录
  17. ubuntu启动两个mysql_同一台Ubuntu 启动多个mysql
  18. fs/binfmt_aout.c:270: error: 'SEGMENT_SIZE' undeclared
  19. 三年级计算机画图工具教案,小学三年级信息技术教学设计《画图》
  20. Linux文件权限的更改

热门文章

  1. 基于微服务架构，改造企业核心系统之实践
  2. Redis学习手册(事务)
  3. postfixadmin 导入数据库出错 ERROR 1062 (23000) at line 29
  4. 走进Windows Server 2008服务器核心（Serve Core）
  5. servlet获取不到Angular4 post过来的参数
  6. VBoxManage: error: Nonexistent host networking interface, name 'vboxnet0' (VERR_INTERNAL_ERROR)
  7. java元数据是什么_用存储过程和 JAVA 写报表数据源有什么弊端？
  8. c4.5算法python实现_算法：用Python实现—最优化算法
  9. linux磁盘fio压力测试,fio进行磁盘压力测试
  10. java 实现 堆排序算法_C程序实现堆排序算法