Ambari 2.7.3 + HDP 3.1.0 安装
文章目录
- 1. Ambari和HDP安装
- 1.1 兼容情况
- 1.2 安装环境
- 1.3 集群规划
- 2. 搭建虚拟机
- 2.1 安装时间同步服务ntp
- 2.2 关闭THP
- 2.3 最大打开文件要求
- 2.4 克隆虚拟机
- 3. 安装Ambari
- 3.1 安装MySQL
- 3.2 免密登录
- 3.3 安装yum相关工具和httpd
- 3.4 配置本地repo
- 4. 集群安装
- 5. 坑
1. Ambari和HDP安装
1.1 兼容情况
Ambari 2.7.3仅支持HDP-3.1.0,HDP-3.0.1,HDP-3.0.0
兼容情况
1.2 安装环境
组件 | 描述 |
---|---|
Ambari | 2.7.3 |
HDP | 3.1.0.0 |
HDP-UTILS | 1.1.0.22 |
MySQL | 5.7 |
OracleJDK8 | JDK 1.8.0_161 |
操作系统 | Centos7.6 |
- OracleJDK8 1.8.0 linux官网下载,CSDN资源下载
- Ambari 2.7.3 安装包下载
- HDP 3.1.0.0 和 HDP-UTILS 1.1.0.22 安装包下载
HDP-GPL-3.1.0.0 较小,后续可直接在线装
1.3 集群规划
hostname | ip | 用处 | 内存 | 硬盘 |
---|---|---|---|---|
yum.hdp | 192.168.110.30 | Ambari/HDP packages | 4G | 50G |
node-1.hdp | 192.168.110.31 | Ambari Server | 6G | 50G |
node-2.hdp | 192.168.110.32 | Compute Node | 4G | 50G |
node-3.hdp | 192.168.110.33 | Compute Node | 4G | 50G |
ambari安装过多的服务,4G,6G内存是不够的。虚拟机环境,不需要的服务尽量不要安装,后续可以再添加!
2. 搭建虚拟机
因为访问慢,不能在线安装,所以先配置yum.hdp的虚拟机,进行本地安装。
- 安装CentOS 7
设置hosts
vi /etc/hosts
2.1 安装时间同步服务ntp
群集中所有节点的时钟以及运行浏览器的计算机必须能够彼此同步才能访问Ambari Web界面。
安装时间同步服务ntp,启动再查看状态,并设置自启
yum -y install ntp
systemctl start ntpd.service
systemctl status ntpd.service
systemctl enable ntpd.service
2.2 关闭THP
不关闭THP,Hadoop的系统CPU使用率很高
出现以下情况启动了THP
永久关闭
vi /etc/rc.d/rc.local
if test -f /sys/kernel/mm/transparent_hugepage/enabled; thenecho never > /sys/kernel/mm/transparent_hugepage/enabled
fi
if test -f /sys/kernel/mm/transparent_hugepage/defrag; thenecho never > /sys/kernel/mm/transparent_hugepage/defrag
fi
赋予执行权限,然后重启
chmod +x /etc/rc.d/rc.local
2.3 最大打开文件要求
建议的最大打开文件描述符数为10000或更多。要检查为最大打开文件描述符数设置的当前值,请在每个主机上执行以下shell命令:
ulimit -Sn
ulimit -Hn
如果输出不大于10000,请运行以下命令将其设置为合适的默认
ulimit -n 10000
2.4 克隆虚拟机
关闭,不使用镜像文件
克隆
再克隆两台node-2.hdp node-3.hdp
启动node-1,node-2,node-3依次修改ip地址和hostname
vi /etc/sysconfig/network-scripts/ifcfg-ens33
service network start
vi /etc/sysconfig/network
hostnamectl set-hostname node-x.hdp
关闭虚拟机,重新分配内存
3. 安装Ambari
3.1 安装MySQL
node-1.hdp 安装MySQL
yum install wget
wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm
yum -y install mysql57-community-release-el7-10.noarch.rpm
yum -y install mysql-community-server
启动MySQL并设置开机自启
systemctl start mysqld.service
systemctl status mysqld.service
systemctl stop mysqld.service
systemctl enable mysqld.service
找出密码
grep 'password' /var/log/mysqld.log
systemctl start mysqld.service
mysql -u root -p
修改root密码,并设置任何ip都可访问
set global validate_password_policy=0;
set global validate_password_length=1;
ALTER USER 'root'@'%' IDENTIFIED BY 'root';
因为安装了Yum Repository,以后每次yum操作都会自动更新,需要把这个卸载掉
yum -y remove mysql57-community-release-el7-10.noarch
配置MySQL编码,字符格式
vim /etc/my.cnf
在[mysqld]下添加
collation_server=utf8_general_ci
character_set_server=utf8
default-storage-engine=INNODB
在[client]下添加(如果没有[client],则创建)
default_character-set=utf8
重启MySQL服务:
systemctl restart mysqld.service
查看字符集:
show variables like 'character_set_%';
创建ambari数据库及数据库的用户名和密码
set global validate_password_policy=0;
set global validate_password_length=1;
create database ambari character set utf8;
create user 'ambari'@'%' identified by 'ambari';
grant all privileges on ambari.* to 'ambari'@'%';
flush privileges;
创建hive数据库及hive库的用户名和密码
set global validate_password_policy=0;
set global validate_password_length=1;
create database hive character set utf8;
create user 'hive'@'%' identified by 'hive';
grant all privileges on ambari.* to 'hive'@'%';
grant all privileges on hive.* to 'hive'@'%';
flush privileges;
3.2 免密登录
windows添加hosts
node-1.hdp 对 node-1.hdp,node-2.hdp,node-3.hdp 免密登陆
node-1.hdp 内执行:
ssh-keygen -t rsa
ssh-copy-id node-1.hdp
ssh-copy-id node-2.hdp
ssh-copy-id node-3.hdp
node-2.hdp 对 node-2.hdp,node-3.hdp 免密登陆
node-2.hdp 内执行:
ssh-keygen -t rsa
ssh-copy-id node-2.hdp
ssh-copy-id node-3.hdp
3.3 安装yum相关工具和httpd
yum.hdp 安装yum相关工具
yum install yum-utils -y
yum repolist
yum install createrepo -y
yum.hdp 安装httpd,启动并查看状态,设置自启
yum install httpd -y
systemctl start httpd
systemctl status httpd
systemctl enable httpd
安装完成后,会生成 /var/www/html目录(相当于Tomcat的webapps目录),进入到/var/www/html目录下,创建ambari和hdp目录,用来存放安装文件。
mkdir /var/www/html/ambari
mkdir /var/www/html/hdp
mkdir /var/www/html/hdp/HDP-UTILS-1.1.0.22
tar -zxvf ambari-2.7.3.0-centos7.tar.gz -C /var/www/html/ambari/
tar -zxvf HDP-3.1.0.0-centos7-rpm.tar.gz -C /var/www/html/hdp/
tar -zxvf HDP-UTILS-1.1.0.22-centos7.tar.gz -C /var/www/html/hdp/HDP-UTILS-1.1.0.22/
访问 http://192.168.110.30:80
可访问ambari
可访问HDP
3.4 配置本地repo
yum.hdp 下载 ambari.repo
wget -O /etc/yum.repos.d/ambari.repo http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.3.0/ambari.repo
修改 ambari.repo
vi /etc/yum.repos.d/ambari.repo
yum.hdp 新增HDP.repo
#VERSION_NUMBER=3.1.0.0-78
[HDP-3.1.0.0]
name=HDP Version - HDP-3.1.0.0
baseurl=http://192.168.110.30/hdp/HDP/centos7
gpgcheck=1
gpgkey=http://192.168.110.30/hdp/HDP/centos7/3.1.0.0-78/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
yum.hdp 新增HDP-UTILS.repo
#VERSION_NUMBER=1.1.0.22
[HDP-UTILS-1.1.0.22]
name=HDP-UTILS Version - HDP-UTILS-1.1.0.22
baseurl=http://192.168.110.30/hdp/HDP-UTILS-1.1.0.22
gpgcheck=1
gpgkey=http://192.168.110.30/hdp/HDP-UTILS-1.1.0.22/HDP-UTILS/centos7/1.1.0.22/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
yum.hdp 分发 ambari.repo、HDP.repo和HDP-UTILS.repo,把ambari.repo HDP.repo 到node-1.hdp,node-2.hdp和node-3.hdp,三个文件都会在相同的目录下
scp ambari.repo HDP.repo HDP-UTILS.repo node-1.hdp:$PWD
scp ambari.repo HDP.repo HDP-UTILS.repo node-2.hdp:$PWD
scp ambari.repo HDP.repo HDP-UTILS.repo node-3.hdp:$PWD
yum.hdp 创建仓库
createrepo /var/www/html/hdp/HDP/centos7/
createrepo /var/www/html/hdp/HDP-UTILS-1.1.0.22/
node-1.hdp 安装ambari-server,setup时都选择y,选择Custom JDK并输入JAVA_HOME地址,选择MySQL,输入hostname
yum install ambari-server
ambari-server setup
node-1.hdp 内用之前创建的ambari账户登录mysql,创建表
mysql -u ambari -p -h node-1.hdp
show databases;
use ambari;
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql;
show tables;
node-1.hdp,node-2.hdp和node-3.hdp安装ambari-agent
yum -y install ambari-agent
node-1.hdp 启动ambari-server,若失败,改为stop再重启
ambari-server start
访问 http://192.168.110.31:8080 默认账号密码admin
4. 集群安装
选择local
SSH输入选择node-1.hdp
cd ~/.ssh
cat id_rsa
按需求选择安装的组件,后续还可以安装
依次设置的密码
admin
hive
admin
hive需要mysql-connector-java.jar,安装完可下一步
node-1.hdp 执行
ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar
不管警告,可在展示页面进行查看集群状态
安装完启动会有问题,可以先启动zookeeper server,看日志报错。再启动全部
5. 坑
- 一开始java装在root目录下,后面ambari创建各组件用户时没权限,四个虚拟机都把安装目录移到了/usr/local下。之前执行ambari-server setup配置的JAVA_HOME也要进行修改,重新执行一边该命令,配置一下,再启动。
- 一开始只创建hive用户和访问ambari数据库的权限,也可以再创建hive的元数据库,并将权限给hive。
参考:
hortonworks官网教程
Ambari2.5.2+HDP2.6.2+Centos7.3离线大数据平台搭建
Ambari 2.7.3 + HDP 3.1.0 安装相关推荐
- ubuntu 18.04安装hdp 3.1.0最新完整版(含安装包)
节点准备 hostname ip 角色 ubuntu-1804-1 172.21.73.53 从节点 ubuntu-1804-2 172.21.73.54 主节点 ubuntu-1804-3 172. ...
- Ambari2.7+HDP3.0安装(基于Centos7)
1.Ambari简介 Apache Ambari项目旨在通过开发用于配置,管理和监视Apache Hadoop集群的软件来简化Hadoop管理.Ambari通过其RESTful API提供了直观,易于 ...
- 基于HDP版本的YDB安装部署
第三章 YDB依赖环境准备 一.硬件环境 硬件如何搭配,能做到比较高的性价比,不存在短板.合理的硬件搭配,对系统的稳定性也很关键. 1.CPU不是核数越高越好,性价比才是关键. 经常遇到很多的企业级客 ...
- 基于HDP版本的YDB安装部署(转)
第三章 YDB依赖环境准备 一.硬件环境 硬件如何搭配,能做到比较高的性价比,不存在短板.合理的硬件搭配,对系统的稳定性也很关键. 1.CPU不是核数越高越好,性价比才是关键. 经常遇到很多的企业级客 ...
- HDP(Hortonworks Data Platform) 安装
HDP(Hortonworks Data Platform) : 集成了许多apache的许多大数据分布式的内容,像hadoop spark yarn hdfs kafka等工具. HDP(Horto ...
- Debian 6.0 安装过程 及中文乱码
2019独角兽企业重金招聘Python工程师标准>>> Debian 6.0 安装过程 Debian 6.0 安装过程 转(一个别人自录的安装过程录相) http://v.youku ...
- ESXi6.5环境搭建(三:vSphere Client6.0安装)
实验目的及要求 完成VMware workstations安装,会应用相关操作: 完成虚拟机中ESXI6.5平台的安装及网络环境配置: 完成VMware vSphere Client 6.0软件在PC ...
- EasyPHP-2.0b1+ Mantis-1.1.0安装及技巧
转载: EasyPHP-2.0b1+ Mantis-1.1.0安装及技巧 注:部分配置来源网络,写此文仅为以后配置提供参考 Mantis是一个轻量级的brower的bug管理系统,界面直观,简单易用, ...
- VMware9.0安装Ubuntu出现Software virtualization is incompatible 问题的解决
问题描述 刚刚在VMware9.0安装Ubuntu,具体的参考可以见:http://wenku.baidu.com/view/3689981ba2161479171128c5.html 当所有步骤完成 ...
最新文章
- AgileEAS.NET平台之ORM设计器
- mysql insert 结果集_SELECT查询结果集INSERT到数据表
- Redis和mysql数据怎么保持数据一致的?
- 线上服务CPU100%问题快速定位实战(转载公众号:架构师之路)
- 第三篇 :微信公众平台开发实战Java版之请求消息,响应消息以及事件消息类的封装...
- 教室录播系统方案_校园录播教室搭建方案?
- 一张图告诉你三大运营商2G/3G/4G频率分配和网络制式
- 【路径规划】基于蚁群算法的多配送中心车辆路径优化方法matlab代码
- 计算机 黑屏 显示桌面,电脑开机后显示桌面黑屏了怎么处理啊?
- http 状态码查询
- 分位数Granger因果检验实现原理
- excel表格怎样汇总
- android消息发送字符串,android - 从Android客户端通过HTTP在HL7消息中发送base64字符串时遇到错误 - 堆栈内存溢出...
- k8s 部署 TCP node应用
- 致我成为社畜的第一年
- Portraiture4.0最新PS专属修图磨皮美白插件
- Qt 查看Qt助手的方法
- HTML-坦克大战-完成子弹连发功能(三)
- AirFlow调度执行Talend ETL任务
- Hyper-V 与Broadcom网卡兼容问题
热门文章
- 3D变形:平移、旋转、缩放、父子关系外间距塌陷
- 美萍VOD点播系统V8.4的制作(电影服务器)
- NBA的激励机制与大学“考试月”
- Cocos2d-x 3.x项目实战:星空大战(射击类游戏)-李宁-专题视频课程
- 仙剑奇侠传3 最牛的秘技
- html 获得控件,js获取控件名称、及内容
- Windows电脑、vmware虚拟机、ARM开发板互相ping通
- java中listFiles(Filefilter filter)文件过滤器的实现过程
- opengl高级光照之视差贴图(陡峭视差贴图以及视差遮蔽映射)
- 达芬奇17调色软件支持m1