centos6.8离线安装HDP

根据自己的操作系统选择自己适应的版本号
https://supportmatrix.hortonworks.com/
操作系统为centos6.8
选择的ambari版本为2.4.1.0
选择的hdp版本为2.5.0.0
选择的hdp-utils版本为1.1.0.21

下载对应的ambari.repo文件以及ambari的压缩文件包
https://docs.hortonworks.com/HDPDocuments/Ambari-2.4.1.0/bk_ambari-installation/content/ambari_repositories.html //更改对应的版本号2.4.1.0

下载对应的hdp压缩包、hdp.repo文件、hdp-utils压缩包
https://docs.hortonworks.com/HDPDocuments/Ambari-2.4.1.0/bk_ambari-installation/content/hdp_25_repositories.html //更改对应的版本号2.5.0.0

安装虚拟机环境配置集群信息@TOC
虚拟机分配内存容量至少4G，容量建议至少50G
节点规划
10.172.50.77 yum节点
10.172.50.100 ambari server
10.172.50.101 分节点1
10.172.50.102 分节点2
10.172.50.103 分节点3
10.172.50.104 分节点4

主机配置：
修改网卡
vi /etc/sysconfig/network-scripts/ifcfg-eth0

重启网络服务
service network restart
ping 10.172.50.77 自己查看能不能收到信息
停掉防火墙
service iptables stop
设置防火墙开机不启动
chkconfig iptables off
vi /etc/hosts

vi /etc/sysconfig/network

配置阿里云yum仓库
https://opsx.alibaba.com/mirror

备份系统
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
根据系统下载对应的系统
curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-6.repo
查看文件目录文件
cd /etc/yum.repos.d/
ll

之后运行yum makecache生成缓存
安装时间同步服务
yum install -y ntp
启动时间同步服务
service ntpd start
查看同步服务状态
service ntpd status
设置时间同步服务开机启动
chkconfig ntpd on

输入date命令，查看当前时间

下载java8上传并安装

官网下载java8压缩包（jdk-8u开头）,并上传到虚拟机上

创建文件夹方便管理
cd /usr/
mkdir java
tar zxvf jdk-8u…tar.gz -c /usr/java/
修改环境变量
vi /etc/profile
行尾添加
export JAVA_HOME=/usr/java/jdk1.8…

export PATH=PATH:PATH:PATH:JAVA_HOME/bin
保存退出后,更新profile
source /etc/profile
输入java -version,应有类似信息返回（安装成功）

关闭selinux 和thp(如果不关闭，THP，hadoop的CPU使用率会很高)
查看selinux状态
sestatus

enabled为启动状态
vi /ect/sysconfig/selinux
设置selinux=disabled
如果出现了下面的结果，说明启动了THP

cat /sys/kernel/mm/transparent_hugepage/defeag
[always] madive never

cat /sys/kernel/mm/transparent_hugepage/enabled
[always]madive never
永久关闭
vi /etc/rc.d/rc.local
添加下列内容：
if test -f /sys/kernel/mm/transparent_hugepage/enable;then
echo never>/sys/kernel/mm/transparent_hugepage/enabled
fi
if test -f /sys/kernel/mm/transparent_hugepage/defrag;then
echo never>/sys/kernel/mm/transparent_hugepage/defrag
fi
保存退出

重启系统

reboot
//检查，如果我这种情况说明已被禁用

cat /sys/kernel/mm/transparent_hugepage/defeag
always madive [never]

cat /sys/kernel/mm/transparent_hugepage/enabled
always madive [never]

删除文件
rm /etc/udev/rules.d/70-persistent-net.rules

克隆其他子节点

子节点重复以下步骤
更改其他节点的ip节点
vi /etc/sysconfig/network-scripts/ifcfg-eth0

根据规划的IP地址修改好

删除硬件的地址
删除文件
rm /etc/udev/rules.d/70-persistent-net.rules
修改主机名
vi /etc/sysconfig/network
HOSTNAME=nd-00.hdp(规划的子节点)

reboot

子节点操作到这里结束

在nd-00节点安装mysql
yum list mysql-server
yum install mysql-server
service mysqld start //根据提示设置密码
/usr/bin/mysqladmin -u root password root123 //密码不要用纯数据
/chkconfig mysqld on //设置开机自动启动

vi /etc/my.cnf
在[client]下添加
default-character-set=utf8
在[mysqld]下添加
collation_server=utf8_general_ci
character_set_server=utf8
default-storage-engine=INNODB
保存退出
service mysqld restart
mysql -uroot -p root123
Mysql>>show variables like ‘character_set_%’; //查看编码
创建ambari数据库及数据库用户名密码
mysql>create database ambari character set utf8;
mysql>create user ‘ambari’@ %‘IDENTIFIED’ BY ‘Ambari123’;
mysql>grant all privileges on ambari.* to’ambari’@’%’;
mysql>flush privileges;
mysql>exit;
创建hive数据库及hive库的用户名和密码
mysql>create database hive character set utf8;
mysql>create USER ‘hive’@’%‘IDENTIFIED BY ‘Hive123’;
mysql>GRANT ALL PRIVILEGES ON hive.* TO ‘hive’@’%’;
mysql>FLUSH PRIVILEGES;
mysql>exit;

安装mysql-java驱动

yum install mysql-connector-java

配置hdp-00.hdp和其他子节点的免密登录

在hdp-00.hdp输入
ssh-keygen -t rsa //一路回车
ssh-copy-id nd-00.hdp//输入密码
ssh-copy-id nd-01.hdp//输入密码
ssh-copy-id nd-02.hdp//输入密码
ssh-copy-id nd-03.hdp//输入密码
ssh-copy-id nd-04.hdp//输入密码
若scp命令不执行，执行yum install -y openssh-clients
配置hdp-01.hdp到其他子节点的免密登录
在hdp-01.hdp输入
ssh-keygen -t rsa //一路回车
ssh-copy-id nd-01.hdp//输入密码
ssh-copy-id nd-02.hdp//输入密码
ssh-copy-id nd-03.hdp//输入密码
ssh-copy-id nd-04.hdp//输入密码

配置ambari-hdp的yum源

安装yum相关工具
在yum主机输入
yum install yum -utils -y
yum repolist
yum install createrepo -y
安装Apache httpd
yum install httpd -y
安装完httpd后，会生成/var/www/html 目录相当于Tomcat的webapps目录进入到/var/www/html目录下，创建ambari和hdp目录用来存放安装文件
cd /var/www/html
mkdir /var/www/html/ambari
mkdir /var/www/html/HDP
mkdir /var/www/html/HDP/HDP-UTILS
tar -zxvf ambari-2.4.1.0-centos6.tar.gz -C /var/www/html/ambari/
tar -zxvf HDP-2.5.0.0-centos6-rpm.tar.gz -C /var/www/html/hdp/
tar -zxvf HDP-UTILS-1.1.0.21-centos6.tar.gz -C /var/www/html/hdp/HDP-UTILS-1.1.0.21/
解压完成后可以查看http://youraddress/ 查看对应的文件目录如http://10.172.50.77/ambari/ 配置repo文件时查看对应的文件目录是否存在看情况修改对应的baseurl
设置httpd开机启动
chkconfig httpd on

配置本地repo文件

配置Ambari

//yum install -y wget
wget -O /etc/yum.repos.d/ambari.repo http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.4.1.0/ambari.repo //2.4.1.0为ambari的版本号
下载失败的话直接创建文件
vi /etc/yum.repo.d/ambari.repo //内容如下
#VERSION_NUMBER=2.4.1.0-22
name=ambari-2.4.1.0 - Updates
baseurl=http://youripaddress/ambari/AMBARI-2.4.1.0/centos6/2.4.1.0/
gpgchck=1
gpgkey=http://youripaddress/ambari/AMBARI-2.4.1.0/centos6/2.4.1.0-22/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
保存退出

配置HDP

创建文件
touch /etc/yum.repo.d/HDP.repo
vi /etc/yum.repo.d/HDP.repo
内如如下:

#VERSION_NUMBER=2.5.0.0-1245
[HDP-2.5.0.0]
name=HDP Version - HDP-2.5.0.0
baseurl=http://youripaddress/HDP/centos6/2.x/updates/2.5.0.0
gpgcheck=1
gpgkey=http://youripaddress/HDP/centos6/2.x/updates/2.5.0.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

[HDP-UTILS-1.1.0.21]
name=HDP-UTILS Version - HDP-UTILS-1.1.0.21
baseurl=http://youripaddress/HDP-UTILS-1.1.0.21/repos/centos6
gpgcheck=1
gpgkey=http://youripaddress/HDP/centos6/2.x/updates/2.5.0.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
保存退出

分发Ambari.repo文件和HDP.repo文件

#yum install openssh-clients
cd /etc/yum.repo.d/
scp ambari.repo HDP.repo nd-00.hdp:PWDscpambari.repoHDP.repond−01.hdp:PWD scp ambari.repo HDP.repo nd-01.hdp:PWDscpambari.repoHDP.repond−01.hdp:PWD
scp ambari.repo HDP.repo nd-02.hdp:PWDscpambari.repoHDP.repond−03.hdp:PWD scp ambari.repo HDP.repo nd-03.hdp:PWDscpambari.repoHDP.repond−03.hdp:PWD
scp ambari.repo HDP.repo nd-04.hdp:$PWD

生成本地源

使用createrepo命令，用于创建软件仓库
createrepo /var/www/html/hdp/HDP/centos6
createrepo /var/www/html/hdp/HDP-UTILS-1.1.0.21/

安装Ambari-Server

######nd-00.hdp节点安装
yum installambari-server
安装完成后设置ambari-server
ambari-server setup
提示自定义ambari-server后台进程，输入y后，提示输入用户管理账号:root
提示检查JDK后选3（用户自定义JAVA_HOME路径）
/usr/java/jdk1.8…/
提示输入高级的数据库配置，输入y，配置数据库选项选择3

提示输入hostname:nd-00,提示输入端口号、数据库名、用户名回车跳过（括号内为默认选项），提示输入数据库密码Amberi123

警告提示：在启动ambari server前需要运行，路径下的sql文件，把路径记录下来
/var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
下面提示配置远程数据库连接配置,输入y

mysql授权允许远程连接(ambari可能会用localhost或者ip地址连接到数据库)

mysql -uroot -p,输入密码
mysql>GRANT ALL PRIVILEGES ON ambari.*TO ‘ambari’@‘localhost’ IDENTIFIED BY ‘Ambari123’;
mysql>GRANT ALL PRIVILEGES ON ambari.*TO ‘ambari’@’%’ IDENTIFIED BY ‘Ambari123’;
mysql>FLUSH PRIVILEGES;
mysql>exit;

登录ambari 用户

mysql -u ambari -p -hnd-00，输入ambari用户密码
mysql>use ambari;
mysql>source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql; //上面记录的文件路径
mysql>exit;

启动ambari server

ambari-server start
启动成功信息

安装Agent

在所有的nd-00/01/02/03/04.hdp安装ambari-agent
yum install -y ambari-agent //安装
service ambari-agent start //启动

登录ambari

在浏览器查看http://youripaddress:8080/ 查看ambari的窗口页面，用户名、密码默认admin
执行安装向导

集群起名

选择对应的HDP版本

选择本地安装路径

填写节点名称

节点nd-00打开sftp窗口，get /root/.ssh/id_rsa ###后面可以加本地文件路径，默认保存在我的文档
将下载的文件选中

全通过之后选择下一步

选择需要安装的服务

安装的配置到这里完成了，后面可以按照默认配置安装或者根据个人选择。
来到hive的安装页

在ambari-server节点执行上图的粗体字，更改最后的jdbc-driver配置路径

配置完成。