cdh6.2离线安装（傻瓜式安装教程）

CDH6.2离线安装流程

1 安装准备

1.1 cdh6.2

下载方式一：
官网下载
https://archive.cloudera.com/cm6/6.2.0/redhat7/yum/RPMS/x86_64/

都下载下来
https://archive.cloudera.com/cdh6/6.2.0/parcels/

只要el7.parcel 和 el7.parcel.sha1
下载式二：
百度网盘
https://pan.baidu.com/s/1QlWyMRSRJNcaStsZMSdmLg

提取码：ietj

1.2 centos7

方式一：
官网下载
http://vault.centos.org/

我这边选择的是1804，点进去：

选择isos

选择x86_64

我这边选择的是
CentOS-7-x86_64-DVD-1804.torrent 这只是个BT种子，我是用百度网盘对其解析下载的（迅雷等工具也可以）
方式二：
百度网盘
https://pan.baidu.com/s/1MHwLT0X39O0EpIeDgqDeJw

提取码：v1rj

2 环境准备

2.1 修改 vi /etc/hosts（每个节点）

vi /etc/hosts 修改完后按ESC再输入 :wq！退出编辑

修改完后ping一下主机名查看是否成功

ping n77.aa-data.cn

在所有节点都对其他节点都依次ping下，如果ping不通请检查下 /etc/hosts下的IP或者主机名是否有错，如若还不行请检查下静态IP是否设置有误

2.2 关闭防火墙、禁止防火墙开机自启(每个节点)

ystemctl stop firewalld 关闭防火墙

systemctl disable firewalld 禁止防火墙开机自启

vi /etc/selinux/config —> SELINUX=disabled (修改)

2.3 ssh无密码登录

manager节点执行ssh-keygen -t rsa 一路回车到结束，在/root/.ssh/下面会生成一个公钥文件id_rsa.pub

将公钥追加到authorized_keys
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

chmod 600 ~/.ssh/authorized_keys 修改权限
将~/.ssh从当前节点分发到其他各个节点。如：
scp -r ~/.ssh/ root@n76.aa-data.cn:~/.ssh/

root@n76.aa-data.cn：当前需要分发的用户及其主机名

密码为系统当前用户的登陆密码

各个节点之间相互ssh一遍

检验：全都ssh一遍后再次ssh将不再需要输入其他指令

2.4 配置NTP服务（所有节点）

修改时区（改为中国标准时区）ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime（如果在安装centos时指定过了这一步就不用了）

yum -y install ntp 安装ntp

ntp主机配置 vi /etc/ntp.conf

manager节点如果有时间服务器请指向时间服务器

其余节点

重新启动 ntp 服务：service ntpd restart

设置开机自启：systemctl enable ntpd.service

ntpdc -c loopinfo #查看与时间同步服务器的时间偏差

ntpq -p #查看当前同步的时间服务器

ntpstat #查看状态

定时同步crontab
crontab -e
10 * * * * /usr/sbin/ntpdate n47.aa-data.cn

2.5 修改Linux swappiness参数(所有节点）

为了避免服务器使用swap功能而影响服务器性能，一般都会把vm.swappiness修改为0（cloudera建议10以下）

echo 0 > /proc/sys/vm/swappiness 临时改变

在最后一行添加如下配置：

echo vm.swappiness=0 >> /etc/sysctl.conf

上述方法rhel6有效，rhel7.2中:tuned服务会动态调整系统参数

查找tuned中配置，直接修改配置

cd /usr/lib/tuned/

grep “vm.swappiness” * -R 查询出后依次修改

依次 vi 将vm.swappiness 修改为0
vi latency-performance/tuned.conf
vi throughput-performance/tuned.conf
vi virtual-guest/tuned.conf

2.6 禁用透明页(所有节点）

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
注意：先在每个节点执行上两句后在添加下面命令
永久生效在/etc/rc.local 添加上面命令
vi /etc/rc.local

3 cm6安装

3.1 将下载下来的cm6 cdh 上传到clouder-manager 主节点的/root下（目录随意）

3.2 配置本地服务器（选定任意一台主机即可）

yum install -y httpd 安装httpd

service httpd start 启用htttpd

打开浏览器输入选定主机的ip验证：出现以下界面及配置成功

cd /var/www/html/

进入到这个目录下创建我们的数据源之后其他节点可以从这直接下载

mkdir cm6 mkdir cdh6

将cdh6.2.0中的rmp包放入cm6下

cp /root/cdh6.2.0/cm6/*.rpm /var/www/html/cm6/

将allkeys.asc放入cm6下

cp /root/cdh6.2.0/cm6/allkeys.asc /var/www/html/cm6/

登陆192.168.2.76/cm6 查验

将cdh6.2.0下的parcel* 和manifast.json放入cdh6

cp /root/cdh6.2.0/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel* /var/www/html/cdh6/

cp /root/cdh6.2.0/parcels/manifest.json /var/www/html/cdh6/

登陆192.168.2.76/cdh6

生成源制定yum源的描述的目录信息可以让其他节点知道到这里下载

yum install -y createrepo 下载createrepo命令

进入到cm6安装包的httpd资源位置
cd /var/www/html/cm6

创建yum源的描述meta

createrepo .

在所有节点上添加yum源的配置文件
cat >> /etc/yum.repos.d/cm6.repo << EOF
[cm6-local]
name=cm6-local
baseurl=http://n47.aa-data.cn/cm6
enabled=1
gpgcheck=0
EOF

查看yum配置源是否生效
yum clean all
yum repolist

4 clouder server 与agent安装

4.1 安装cm6相关依赖（所有节点）

yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb httpd mod_ssl

4.2 安装cloudera-manager 管理节点

安装cloudera-manager-server cloudera-manager-server-db-2 cloudera-manager-daemons cloudera-manager-agent

先安装jdk

yum install -y oracle-j2sdk1.8-1.8.0+update181-1.x86_64

在安装cloudera-manager-*

yum install -y cloudera-manager-daemons cloudera-manager-server cloudera-manager-server-db-2 postgresql-server

4.3 安装mysql（选一台主机安装即可）

yum install -y mysql mysql-devel

yum install -y mariadb mariadb-server

service mariadb start 启动数据库服务

chkconfig mariadb on 设置开机自启动

初始化mariadb密码
/usr/bin/mysql_secure_installation 一直回车遇[Y/n]输入y
设置密码

初始化管理节点数据库

mkdir -p /usr/share/java
mv /root/cdh6.2.0/mysql5.7/mysql-connector-java-5.1.34.jar /usr/share/java/mysql-connector-java.jar（这里需要分发到所有节点）

执行数据库初始脚本
/opt/cloudera/cm/schema/scm_prepare_database.sh mysql -h localhost -uroot -proot --scm-host localhost scm scm scm

4.4 安装agent

先安装jdk
yum install -y oracle-j2sdk1.8-1.8.0+update181-1.x86_64

在安装agent 这里稍微等待会儿
yum install -y cloudera-manager-daemons cloudera-manager-agent

修改所有节点上的agent配置，让agent指向cloudera-manager

vi /etc/cloudera-scm-agent/config.ini

启动clouder-manager和agent

在clouder-manager节点上启动

service cloudera-scm-server start 启动main服务

chkconfig cloudera-scm-server on 设置开机自启动

在所有节点启动agent

service cloudera-scm-agent start 启动agent服务

chkconfig cloudera-scm-agent on 设置开机自启动

5 登陆web页面

5.1 添加集群

输入cloudera-manager所在的节点ip货主机名：7180

http://192.168.2.76:7180/

初始账户：admin 密码：admin

登陆账号密码，点击登陆

点击继续后：

点击继续后：

之后稍稍等一会儿，这里加载可能会有点慢

给集群命名

指定主机

选择存储库

指定我们自己的cdh包裹

等待刷新

Jdk我们之前自己安装过了所以直接下一步就好

提供ssh登陆

安装代理

等待安装包裹这里时间稍稍有点长

检查集群

选择服务（如果你确保自己已知晓如何添加服务，可以选择套餐安装）

分配角色

数据库设置（之后有需要数据库设置的服务请参考此方法）

登陆mysql

创建普通用户

create user datauser identified by ‘datasuer’;

给datauser开启metastore访问权限（spark兼容hive）
grant all privileges on metastore.* to ‘datauser’@’%’ identified by ‘datauser’ with grant option;
flush privileges;

创建数据库

create database activity default charset utf8;

允许mysql远程登陆

grant all privileges on activity.* To datauser@’%'identified by ‘datauser’;

刷新权限

flush privileges;

审核更改

命令详细

安装成功

进入到集群管理界面

5.2 添加服务

namenode高可用

将Hue配置为使用HDFS HA

1添加HttpFS角色。
2命令完成后，转到Hue服务。
3单击配置选项卡。
4找到HDFS Web界面角色属性或通过在搜索框中键入其名称来搜索它。
5选择您刚创建的HttpFS角色而不是NameNode角色，然后保存更改。
6重新启动Hue服务。