环境准备

1. 编辑每台机器的hosts节点地址并设置hostname(所有节点)

vi /etc/hosts 修改完后按ESC再输入 :wq！退出编辑

分别设置每台机器的hostname(很重要)
使用hostnamectl set-hostname 主机名进行设置
主机名使用上面hosts里面配置的主机名称
如:

hostnamectl set-hostname master.data.cn
hostnamectl set-hostname node1.data.cn
hostnamectl set-hostname node2.data.cn

2. 关闭每台防火墙,禁止防火墙开机自启(所有节点)

systemctl stop firewalld

systemctl disable firewalld

vi /etc/selinux/config 将 SELINUX=disabled

3.配置节点之间ssh无密码登录(所有节点)

manager节点执行

ssh-keygen -t rsa

一路回车到结束，在/root/.ssh/下面会生成一个公钥文件id_rsa.pub

将公钥追加到authorized_keys

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

修改权限

chmod 600 ~/.ssh/authorized_keys

将~/.ssh从当前节点分发到其他各个节点。如：

scp -r ~/.ssh/ root@node1.data.cn:~/.ssh/

root@node1.data.cn：当前需要分发的用户及其主机名

配置完成后将3个节点之间都使用ssh互相连接一下

4.配置NTP服务(所有节点)

修改时区（改为中国标准时区）(如果在安装centos时指定过了这一步就不用了）

ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

安装ntp

yum -y install ntp

ntp主机配置

vi /etc/ntp.conf

manager节点如果有时间服务器请指向时间服务器

其余节点指向主节点

重新启动 ntp 服务：

service ntpd restart

设置开机自启：

systemctl enable ntpd.service

ntpdc -c loopinfo #查看与时间同步服务器的时间偏差

ntpq -p #查看当前同步的时间服务器

ntpstat #查看状态

5.修改Linux swappiness参数(所有节点)

为了避免服务器使用swap功能而影响服务器性能，一般都会把vm.swappiness修改为0（cloudera建议10以下）

临时改变

echo 0 > /proc/sys/vm/swappiness

在最后一行添加如下配置：

echo vm.swappiness=0 >> /etc/sysctl.conf

6.禁用透明页(所有节点)

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

注意：先在每个节点执行上两句后在添加下面命令
永久生效在/etc/rc.local 添加上面命令

vi /etc/rc.local

CDH安装

一.YUM准备工作

1.配置本地服务器(任选一台主机建议选主节点机器)

安装httpd

yum install -y httpd

启用htttpd

service httpd start

打开浏览器输入选定主机的ip如(http://192.168.10.51)验证：出现以下界面及配置成功

2.创建CDH YUM源(任选一台主机建议选主节点机器)

cd /var/www/html/

进入到这个目录下创建我们的yum源之后其他节点可以从这直接下载安装包

mkdir cdh6

将CDH的安装包传入cdh6文件夹(cdh6这个文件夹后期会在CDH系统安装时候作为离线安装包使用)
同时将manifest.json传入cdh6文件夹

mkdir cm6

把所有需要安装的包通过FTP传入cm6文件夹(cm6文件夹会作为后面所有yum安装的源文件夹)
同时将allkeys.asc传入cm6下

生成源制定yum源的描述的目录信息可以让其他节点知道到这里下载

yum install -y createrepo

下载createrepo命令
进入到cm6安装包的httpd资源位置

cd /var/www/html/cm6

创建yum源的描述meta

createrepo .

3.配置YUM源(所有节点)

在所有节点上添加yum源的配置文件

cat >> /etc/yum.repos.d/cm6.repo << EOF
[cm6-local]
name=cm6-local
baseurl=http://n47.aa-data.cn/cm6
enabled=1
gpgcheck=0
EOF

查看yum配置源是否生效

yum clean all
yum repolist

二.Clouder Server与 Clouder Agent安装

1.安装CM6相关依赖(所有节点)

yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb httpd mod_ssl

2.安装Cloudera Server与Clouder Agent管理节点

1.安装JDK(所有节点)

yum install -y oracle-j2sdk1.8-1.8.0+update181-1.x86_64

2.安装cloudera-manager-*程序(主节点机器)

yum install -y cloudera-manager-daemons cloudera-manager-server cloudera-manager-server-db-2 postgresql-server

3.安装mysql(主节点机器)

yum install -y mysql mysql-devel

yum install -y mariadb mariadb-server

启动数据库服务

service mariadb start

设置开机自启动

chkconfig mariadb on

初始化mariadb密码以及数据库(一直回车遇[Y/n]输入y)

/usr/bin/mysql_secure_installation

4.配置mysql连接(所有节点)

mkdir -p /usr/share/java

将mysql-connector-java-5.1.34.jar传入这个文件夹改名为mysql-connector-java.jar

mv mysql-connector-java-5.1.34.jar mysql-connector-java.jar

5.执行数据库初始脚本(主节点机器)

/opt/cloudera/cm/schema/scm_prepare_database.sh mysql -h localhost -uroot -p[初始化数据库设置的root密码] --scm-host localhost scm root [初始化数据库设置的root密码]

6.安装Agent(所有节点包括主节点)

yum install -y cloudera-manager-daemons cloudera-manager-agent

修改除主节点机器外其他节点上的agent配置，让agent指向cloudera-manager

注意这里的server_host需要与主节点的hostname一致

vi /etc/cloudera-scm-agent/config.ini

7.启动Clouder Server(主节点机器)

启动main服务

service cloudera-scm-server start

设置开机自启动

chkconfig cloudera-scm-server on

8.启动Agent(除主节点机器外其他节点)

启动agent服务

service cloudera-scm-agent start

设置开机自启动

chkconfig cloudera-scm-agent on

三.使用Clouder Manager安装集群

输入Clouder Manager(主节点机器IP) 服务端口为:7180

http://192.168.10.51:7180

初始账户: admin

密码: admin

点击登录

选择免费版

稍等一会后进入安装界面

输入集群名称

指定主机

选择CDH安装存储库

指定之前设置好的CDH包路径

等待刷新

JDK因为之前已经安装过了所以直接下一步就好

提供SSH登陆

集群安装

CDH6.2.0安装教程相关推荐

Linux redis安装教程,Linux 下redis5.0.0安装教程详解
Linux redis5.0.0安装,教程如下所示: 1.从官网下载,然后传到服务器,tar -zxvf解压 2.进入redis ? 3.安装:make, (1)若提示:: gcc: Command ...
Visual C++6.0安装教程（win10版）及“应用程序无法正常启动（0x0150002）”解决办法
Visual C++6.0安装教程(win10版)及"应用程序无法正常启动(0x0150002)"解决办法
安装python3.8.0步骤_python3.8.0安装教程_后端开发
如何用python画简单的动物_后端开发用python画简单的动物的方法是:1.画笔设置,如[t.screen.screensize(canvwidth=1000,canvheight=500,bg ...
Debian 7.1.0 安装教程图解(——Debian系统轻量级快速安装法)
Debian 7.1.0 安装教程图解(--Debian系统轻量级快速安装法) 目录一.Debian 7.1.0最新安装光盘二.安装系统教程图解三.DebianLNMP更多相关使用系列文章一.D ...
QT5.10.0安装教程图文教程以及安装成功QT5.10.0后环境配置图文步骤
引用:https://www.cnblogs.com/chenmingjun/p/8392713.html QT5.10.0安装教程图文教程以及安装成功QT5.10.0后环境配置图文教程文章目录 Q ...
Kinect for Windows v2.0安装教程
Kinect for Windows v2.0安装教程根据官方教程,Kinect v2.0支持Windows 8/8.1/10,本教程讲述在Windows 10上的安装. 打开浏览器,百度搜索--K ...
python3.8.0安装详细步骤_python3.8.0安装教程_后端开发
如何用python画简单的动物_后端开发用python画简单的动物的方法是:1.画笔设置,如[t.screen.screensize(canvwidth=1000,canvheight=500,bg ...
php怎么安装ecshop,ECSHOP4.0安装教程【ECSHOP4.0安装流程方法】ECSHOP4.0安装步骤-ECSHOP教程网...
ECSHOP教程网更新了最新ecshop4.0安装教程,为菜鸟提供详细图文ecshop4.0安装步骤,一步步教会大家如何ecshop4.0安装方法以及安装流程,让大家都会ecshop4.0安装. 大家 ...
APOLLO 6.0安装教程
以下是百度官方的安装说明,必须要在ubuntu18.04以上操作系统才可以完成. nav_ic_arrowhttps://apollo.baidu.com/community/Apollo-Homep ...

CDH6.2.0安装教程

环境准备

1. 编辑每台机器的hosts节点地址并设置hostname(所有节点)

2. 关闭每台防火墙,禁止防火墙开机自启(所有节点)

3.配置节点之间ssh无密码登录(所有节点)

4.配置NTP服务(所有节点)

5.修改Linux swappiness参数(所有节点)

6.禁用透明页(所有节点)

CDH安装

一.YUM准备工作

1.配置本地服务器(任选一台主机建议选主节点机器)

2.创建CDH YUM源(任选一台主机建议选主节点机器)

3.配置YUM源(所有节点)

二.Clouder Server与 Clouder Agent安装

1.安装CM6相关依赖(所有节点)

2.安装Cloudera Server与Clouder Agent管理节点

1.安装JDK(所有节点)

2.安装cloudera-manager-*程序(主节点机器)

3.安装mysql(主节点机器)

4.配置mysql连接(所有节点)

5.执行数据库初始脚本(主节点机器)

6.安装Agent(所有节点包括主节点)

7.启动Clouder Server(主节点机器)

8.启动Agent(除主节点机器外其他节点)

三.使用Clouder Manager安装集群

CDH6.2.0安装教程相关推荐

最新文章

热门文章

CDH6.2.0安装教程

环境准备

1. 编辑每台机器的hosts节点地址并设置hostname(所有节点)

2. 关闭每台防火墙,禁止防火墙开机自启(所有节点)

3.配置节点之间ssh无密码登录(所有节点)

4.配置NTP服务(所有节点)

5.修改Linux swappiness参数(所有节点)

6.禁用透明页(所有节点)

CDH安装

一.YUM准备工作

1.配置本地服务器(任选一台主机 建议选主节点机器)

2.创建CDH YUM源(任选一台主机 建议选主节点机器)

3.配置YUM源(所有节点)

二.Clouder Server与 Clouder Agent安装

1.安装CM6相关依赖(所有节点)

2.安装Cloudera Server与Clouder Agent管理节点

1.安装JDK(所有节点)

2.安装cloudera-manager-*程序(主节点机器)

3.安装mysql(主节点机器)

4.配置mysql连接(所有节点)

5.执行数据库初始脚本(主节点机器)

6.安装Agent(所有节点包括主节点)

7.启动Clouder Server(主节点机器)

8.启动Agent(除主节点机器外其他节点)

三.使用Clouder Manager安装集群

CDH6.2.0安装教程相关推荐

最新文章

热门文章

1.配置本地服务器(任选一台主机建议选主节点机器)

2.创建CDH YUM源(任选一台主机建议选主节点机器)