Ambari集群搭建

【集群规划】

	虚拟机1	虚拟机2	虚拟机3
内存	5GB	5GB	5GB
磁盘	115GB	115GB	115GB
host名	vm01	vm02	vm03
ip地址	192.168.1.100	192.168.1.102	192.168.1.104
ssh信息	root/polyv123	root/polyv123	root/polyv123
ambari-server	是	否	否
ambari-agent	是	是	是
NameNode	是	是	否
DataNode	是	是	是
Kafka-Broker	是	是	是
ZooKeeper	是	是	是
ResourceManager	否	是	是
NodeManager	是	是	是
HMaster	是	是	否
HRegionServer	是	是	是

应用	ip	版本	账号	密码	备注
mysql	192.168.1.100	5.7.34	root	polyv123
redis	192.168.1.100	6.0.8			绑定了127.0.0.1

【需要的资源包】

可在192.168.1.100/root/downloads目录下获得

ambari-2.7.5.0-centos7.tar.gz
HDP-3.1.5.0-centos7-rpm.tar.gz
HDP-GPL-3.1.5.0-centos7-gpl.tar.gz
HDP-UTILS-1.1.0.22-centos7.tar.gz
jdk8_291_linux64.tar.gz

1.下载虚拟机Virtualbox，载入centos7的镜像。

分配内存5GB和磁盘115GB。首先完成1个虚拟机节点的安装，在安装过程中设置用户密码root/polyv123。

具体过程可参考https://blog.csdn.net/sinat_38798245/article/details/88103291

2. 完成vm01的基本配置。

设置hostname
hostnamectl set-hostname vm01

设置最大打开文件限制
ulimit -n 10000

设置静态IP地址
进入/etc/sysconfig/network-scripts/目录，编辑ifcfg-enp0s3文件。

修改文件后执行命令service network restart，重启网卡服务。

执行ip addr，验证结果：

ping www.baidu.com测试：
配置Hosts
修改/etc/hosts文件，添加：
192.168.1.100 vm01
192.168.1.104 vm03
192.168.1.102 vm02
配置宿主机的Host文件。/windows/drivers/etc/hosts
开启SSH服务

yum -y install openssh-serve

vi /etc/ssh/sshd_config

将文件中，关于监听端口、监听地址前的 # 号去除：

然后开启允许远程登录：

最后，开启使用用户名密码来作为连接验证：

保存文件退出并开启 sshd 服务，systemctl start sshd.service

设置开机自启动，systemctl enable sshd.service

关闭防火墙

systemctl disable firewalld.service
systemctl stop firewalld.service

关闭selinux

vi /etc/sysconfig/selinux
修改 SELINUX = enforcing 为 SELINUX = disabled
配置时钟同步

yum install -y ntp
systemctl enable ntpd
至此，重启系统 reboot
安装wget、vim命令
yum -y install wget
yum -y install vim
创建/root/downloads目录，并将jdk8包（可从192.168.1.100/root/downloads目录下获得）下载到该目录下

然后解压到指定目录：

cd /usr/local

mkdir jdk8

cd jdk8

tar -zxvf /root/downloads/jdk8_291_linux64.tar.gz

接着配置环境变量：

vi /etc/profile

添加如下内容：

export JAVA_HOME=/usr/local/jdk8/jdk1.8.0_291
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin
生效 source /etc/profile

检查 java -version

3. 至此单机节点配置完成，开始克隆vm02，vm03，并做如下配置：

分别修改主机名：

hostnamectl set-hostname vm02

hostnamectl set-hostname vm03

分别修改IP：

vi /etc/sysconfig/network-scripts/ifcfg-enp0s3

IPADDR=192.168.1.102

----------------------------

IPADDR=192.168.1.104

分别重启：

reboot

免密登录

（注：分别在vm01、vm02、vm03主机下执行以下的所有步骤）

生成密钥文件：ssh-keygen -t rsa

4. 在vm01中部署ambari-server

搭建文件服务器：

yum -y install httpd

cd /etc/httpd/conf.d/

mv welcome.conf welcome.conf.bak

service httpd start

systemctl enable httpd

资源包准备（以下资源包可从192.168.1.100/root/downloads目录下获得）

上传资料包到vm01服务器的/root/download下，并解压到/var/www/html/目录下：

tar -zxvf /root/downloads/ambari-2.7.5.0-centos7.tar.gz -C /var/www/html/

tar -zxvf /root/downloads/HDP-3.1.5.0-centos7-rpm.tar.gz -C /var/www/html/

tar -zxvf /root/downloads/HDP-GPL-3.1.5.0-centos7-gpl.tar.gz -C /var/www/html/

tar -zxvf /root/downloads/HDP-UTILS-1.1.0.22-centos7.tar.gz -C /var/www/html/

配置本地yum源（在vm01上）

l 首先执行以下命令，安装yum插件：

yum -y install yum-plugin-priorities

l 拷贝repo文件：

cd /var/www/html

cp ambari/centos7/2.7.5.0-72/ambari.repo /etc/yum.repos.d/

cp HDP/centos7/3.1.5.0-152/ssl_hdp.repo /etc/yum.repos.d/hdp.repo

cp HDP-GPL/centos7/3.1.5.0-152/hdp.gpl.repo /etc/yum.repos.d/

l 修改ambari的yum源配置：

vim /etc/yum.repos.d/ambari.repo

修改两处URL的地址，使仓库指向本地文件服务器，如下图所示。
l 修改HDP的yum源设置：

vim /etc/yum.repos.d/hdp.repo

修改四处URL的地址，使仓库指向本地文件服务器，如下图所示。

l 修改hdp.gpl的yum源配置：

vim /etc/yum.repos.d/hdp.gpl.repo

修改两处URL的地址，使仓库指向本地文件服务器，如下图所示。

准备MySQL环境

l 进入/root/downloads目录：

wget https://dev.mysql.com/get/mysql57-community-release-el7-9.noarch.rpm

rpm -ivh mysql57-community-release-el7-9.noarch.rpm

l 进入 /etc/yum.repos.d/目录：

yum -y install mysql-server

l 启动MySQL：

systemctl start mysqld

l 获取安装时的临时密码：

grep 'temporary password' /var/log/mysqld.log

l 登录（使用临时密码）：

mysql -u root -p

l 修改密码：

set global validate_password_policy=0;

set global validate_password_length=1;

ALTER USER 'root'@'localhost' IDENTIFIED BY 'polyv123';

l 设置开机自启动：

systemctl enable mysqld

l 重启服务systemctl restart mysqld：

l 安装MySQL的驱动包：

yum install -y mysql-connector-java （生成/usr/share/java/mysql-connector-java.jar 文件）

安装ambari-server（在vm01上）

yum -y install ambari-server

部署ambari

执行ambari-server setup，进入部署界面：

ambari管理平台默认用户名 root

数据库默认库ambari，

JDK选择Custom自定义环境，并且输入环境配置中的JAVA_HOME路径。/usr/local/jdk8/jdk1.8.0数据库选择更高级自定义配置，

选择MySQL，然后用户名和密码修改默认值，设置为root/polyv123

配置Enter full path to custom jdbc driver: /usr/share/java/mysql-connector-java.jar（如果默认匹配则输入y确认）

初始化ambari数据库

将ambari-server的DDL-CREATE.sql文件导入到MySQL的ambari库中

l 执行mysql -uroot -ppolyv123，进入操作界面

l 创建ambari库和用户名/密码：

mysql> create database ambari character set utf8;

l 初始化ambari-sever数据：

mysql> use ambari;

mysql> source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql;

5. 在vm01、vm02、vm03部署ambari-agent

将vm01的/etc/yum.repos.d/ambari.repo分别拷贝到vm02和vm03上：

cd /etc/yum.repos.d/

scp ambari.repo root@vm02:/etc/yum.repos.d/

scp ambari.repo root@vm03:/etc/yum.repos.d/

然后在vm01、vm02、vm03三个节点都执行以下步骤：

yum -y install ambari-agent

vi /etc/ambari-agent/conf/ambari.ini （添加如下两行，确保[server]指向ambari-server所在主机）

[server]

hostname=vm01

分别启动agent，执行命令ambari-agent start

6. 启动ambari集群

在vm01上执行ambari-server start，启动ambari-server。

如果启动不成功，可以查看启动报错日志，然后在 /etc/ambari-server/conf/ambari.properties文件中适配属性。

操作如下：

vim /etc/ambari-server/conf/ambari.properties

将vm01修改为localhost，wq退出保存。

再次执行ambari-server start，启动成功。

下一篇： HDP集群搭建_LSur_king的博客