hdp和mysql集群_Ambari2.7.3 和HDP3.1.0搭建Hadoop集群
一、环境及软件准备
1、集群规划
hadoop01/192.168.0.151
hadoop02/192.168.0.152
hadoop03/192.168.0.153
hadoop04/192.168.0.154
hadoop05/192.168.0.155
ambari server
是
否
否
否
否
ambari agent
是
是
是
是
是
namenode
是
是
否
否
否
datanode
否
否
是
是
是
resourcemanager
是
是
否
否
否
journalnode
是
是
是
是
是
zookeeper
是
是
是
否
否
01和02主要做管理机,03-05做数据数据节点,01-03做zookeeper集群。
主机环境为Ubuntu server18.04,主机间已经建立互信。
2、下载ambari安装包
image.png
ps需要下载repo file,ambari.list
3、下载hdp安装包
image.png
ps需要下载repo file,hdp.gpl.list,hdp.list.
4、安装一台lnmp备用
选择hadoop01
wget -c http://soft.vpser.net/lnmp/lnmp1.5.tar.gz && tar zxf lnmp1.5.tar.gz && cd lnmp1.5 && ./install.sh lnmp
选择安装mysql5.7版本用于支持ambari
开启远程访问mysql。
mysql -u root -p
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' ;
flush privileges;
5、复制下载文件
放到lnmp的默认目录下。
mkdir /home/wwwroot/default/ambari
mkdir /home/wwwroot/default/ambari/HDP-UTILS
cd /home/wwwroot/default/ambari
复制下载文件到相关目录并解压。
tar -zxvf ambari-2.7.3.0-ubuntu18.tar.gz
tar -zxvf HDP-GPL-3.1.0.0-ubuntu18-gpl.tar.gz
tar -zxvf HDP-3.1.0.0-ubuntu18-deb.tar.gz
tar -zxvf HDP-UTILS-1.1.0.22-ubuntu18.tar.gz -C HDP-UTILS
开启nginx目录浏览
nginx.conf http { }加入
autoindex on; #开启nginx目录浏览功能
autoindex_exact_size off; #文件大小从KB开始显示
autoindex_localtime on;
image.png
6、配置本地源
cd /etc/apt/sources.list.d
ambari.list
#VERSION_NUMBER=2.7.3.0-139
#json.url = http://public-repo-1.hortonworks.com/HDP/hdp_urlinfo.json
deb http://192.168.0.151/ambari/ambari/ubuntu18/2.7.3.0-139/ Ambari main
hdp.list
#VERSION_NUMBER=3.1.0.0-78
deb http://192.168.0.151/ambari/HDP/ubuntu18/3.1.0.0-78/ HDP main
deb http://192.168.0.151/ambari/HDP-UTILS/HDP-UTILS/ubuntu18/1.1.0.22/ HDP-UTILS main
hdp.gpl.list
#VERSION_NUMBER=3.1.0.0-78
deb http://192.168.0.151/ambari/HDP-GPL/ubuntu18/3.1.0.0-78/ HDP-GPL main
更新list
sudo apt-key adv --recv-keys --keyserver keyserver.ubuntu.com B9733A7A07513CAD
sudo apt-get update
apt-cache showpkg ambari-server
apt-cache showpkg ambari-agent
apt-cache showpkg ambari-metrics-assembly
复制到各台主机,并在各台主机更新list。
scp /etc/apt/sources.list.d/ambari.list 192.168.0.152:/etc/apt/sources.list.d/
scp /etc/apt/sources.list.d/ambari.list 192.168.0.153:/etc/apt/sources.list.d/
scp /etc/apt/sources.list.d/ambari.list 192.168.0.154:/etc/apt/sources.list.d/
scp /etc/apt/sources.list.d/ambari.list 192.168.0.155:/etc/apt/sources.list.d/
scp /etc/apt/sources.list.d/hdp.list 192.168.0.152:/etc/apt/sources.list.d/
scp /etc/apt/sources.list.d/hdp.list 192.168.0.153:/etc/apt/sources.list.d/
scp /etc/apt/sources.list.d/hdp.list 192.168.0.154:/etc/apt/sources.list.d/
scp /etc/apt/sources.list.d/hdp.list 192.168.0.155:/etc/apt/sources.list.d/
scp /etc/apt/sources.list.d/hdp.gpl.list 192.168.0.152:/etc/apt/sources.list.d/
scp /etc/apt/sources.list.d/hdp.gpl.list 192.168.0.153:/etc/apt/sources.list.d/
scp /etc/apt/sources.list.d/hdp.gpl.list 192.168.0.154:/etc/apt/sources.list.d/
scp /etc/apt/sources.list.d/hdp.gpl.list 192.168.0.155:/etc/apt/sources.list.d/
二、安装hdp集群
1、安装ambari &hadoop01
sudo apt-get install ambari-server
Success. You can now start the database server using:
/usr/lib/postgresql/10/bin/pg_ctl -D /var/lib/postgresql/10/main -l logfile start
Ver Cluster Port Status Owner Data directory Log file
10 main 5432 down postgres /var/lib/postgresql/10/main /var/log/postgresql/postgresql-10-main.log
update-alternatives: using /usr/share/postgresql/10/man/man1/postmaster.1.gz to provide /usr/share/man/man1/postmaster.1.gz (postmaster.1.gz) in auto mode
Setting up postgresql (10+190) ...
Setting up ambari-server (2.7.3.0-139) ...
Processing triggers for systemd (237-3ubuntu10.9) ...
Processing triggers for ureadahead (0.100.0-20) ...
Processing triggers for libc-bin (2.27-3ubuntu1) ...
2、配置ambari
root@hadoop01:/home/wwwroot/default/ambari# sudo ambari-server setup
Using python /usr/bin/python
Setup ambari-server
Checking SELinux...
WARNING: Could not run /usr/sbin/sestatus: OK
Customize user account for ambari-server daemon [y/n] (n)? y
Enter user account for ambari-server daemon (root):
Adjusting ambari-server permissions and ownership...
Checking firewall status...
Checking JDK...
[1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8
[2] Custom JDK
==============================================================================
Enter choice (1):
配置java路径即可
/usr/lib/jvm/java-8-openjdk-amd64
配置mysql
Minimum JDK version is 8 for Ambari. Skipping to setup different JDK for Ambari Server.
Checking GPL software agreement...
GPL License for LZO: https://www.gnu.org/licenses/old-licenses/gpl-2.0.en.html
Enable Ambari Server to download and install GPL Licensed LZO packages [y/n] (n)?
Completing setup...
Configuring database...
Enter advanced database configuration [y/n] (n)? y
Configuring database...
==============================================================================
Choose one of the following options:
[1] - PostgreSQL (Embedded)
[2] - Oracle
[3] - MySQL / MariaDB
[4] - PostgreSQL
[5] - Microsoft SQL Server (Tech Preview)
[6] - SQL Anywhere
[7] - BDB
==============================================================================
Enter choice (1): 3
配置jdbc,需要上传jdbc.bin.jar
路径如下。
/var/lib/ambari-server/resources/mysql-connector-java-5.1.47-bin.jar
Configuring ambari database...
Enter full path to custom jdbc driver:
Configuring ambari database...
Enter full path to custom jdbc driver: /var/lib/ambari-server/resources/mysql-connector-java-5.1.47-bin.jar
Copying /var/lib/ambari-server/resources/mysql-connector-java-5.1.47-bin.jar to /usr/share/java
Configuring remote database connection properties...
WARNING: Before starting Ambari Server, you must run the following DDL directly from the database shell to create the schema: /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
Proceed with configuring remote database connection properties [y/n] (y)?
Extracting system views...
....ambari-admin-2.7.3.0.139.jar
Ambari repo file contains latest json url http://public-repo-1.hortonworks.com/HDP/hdp_urlinfo.json, updating stacks repoinfos with it...
Adjusting ambari-server permissions and ownership...
Ambari Server 'setup' completed successfully.
三、配置ambari
1、导入mysql库
mysql -u root -p
mysql> create database ambari;
mysql> use ambari;
mysql> source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql;
2、启动ambari
root@hadoop01:/home/wwwroot/default/ambari#
sudo ambari-server start
Using python /usr/bin/python
Starting ambari-server
Ambari Server running with administrator privileges.
Organizing resource files at /var/lib/ambari-server/resources...
Ambari database consistency check started...
Server PID at: /var/run/ambari-server/ambari-server.pid
Server out at: /var/log/ambari-server/ambari-server.out
Server log at: /var/log/ambari-server/ambari-server.log
Waiting for server start..................................................
Server started listening on 8080
DB configs consistency check: no errors and warnings were found.
Ambari Server 'start' completed successfully.
四、安装hadoop集群
http://192.168.0.151:8080
用户名密码、admin/admin
image.png
image.png
image.png
选择本地库。
输入目录。
http://192.168.0.151/ambari/HDP/ubuntu18/3.1.0.0-78
http://192.168.0.151/ambari/HDP-UTILS/HDP-UTILS/ubuntu18/1.1.0.22/
image.png
cat ~/.ssh/id_rsa
获取ssh密钥。
image.png
image.png
其他主机出现错误,跟agent没安装上有关。
在其他主机执行
apt install ambari-agent -y
image.png
Ranger、Ranger KMS选了安装失败。取消可以成功。
image.png
image.png
image.png
hdp和mysql集群_Ambari2.7.3 和HDP3.1.0搭建Hadoop集群相关推荐
- hadoop集群_Ambari搭建hadoop集群
Ambari搭建hadoop集群 Ambari提供了对Hadoop更加方便快捷的管理功能,主要包含: 通过一步一步的安装向导简化了集群供应. 预先配置好关键的运维指标(metrics),可以直接查看H ...
- 阿里云 ECS 服务器上如何搭建 Hadoop 集群详细步骤图解
1.前言 在讲述Hadoop集群搭建之前,首先要了解Hadoop和集群两个名词,Hadoop是由Apache基金会开发的分布式系统基础架构,简单理解就是大数据技术应用的基础.集群可以理解为多台装有ha ...
- 基于OSS存储搭建Hadoop集群
简介 本文以Ubuntu操作系统为例,介绍基于Aliyun OSS的hadoop-3.0.0-beta1的集群环境搭建过程,示例的集群环境包括1个master和2个slave节点(slave1和sla ...
- linux hadoop集群搭建,hadoop集群搭建
hadoop集群搭建步骤 实验介绍 下面将要在三台linux虚拟机上搭建hadoop集群. 知识点 linux基本命令 集群安装 完成实验需要以下相关知识 解压命令 tar -zxvf XX.tar. ...
- Docker搭建hadoop集群
参考https://github.com/kiwenlau/hadoop-cluster-docker/blob/master/start-container.sh 因为之前在VMware上操作Had ...
- 华为云 和 阿里云 跨服务器搭建Hadoop集群
目录 华为云 和 阿里云 跨服务器搭建Hadoop集群 说明 期间遇到的问题 CentOS6 7 8更换阿里yum源 修改服务器名称 安装JDK 安装Hadoop 编写集群分发脚本 xsync scp ...
- cdh搭建hadoop集群_Hadoop宿醉:使用Apache Whirr启动hadoop集群CDH4
cdh搭建hadoop集群 这篇文章是关于如何在EC2实例上启动CDH4 MRv1或CDH4 Yarn集群的. 据说您可以在Whirr的帮助下在5分钟内启动一个集群! 当且仅当一切工作正常时,这才是正 ...
- Docker学习七:使用docker搭建Hadoop集群
本博客简单分享了如何在Docker上搭建Hadoop集群,我的电脑是Ubuntu20,听同学说wsl2有些命令不对,所以建议在虚拟机里按照Ubuntu或者直接安装双系统吧 Docker学习一:Dock ...
- hadoop搭建_阿里云搭建Hadoop集群
1 前言 在讲述Hadoop集群搭建之前,首先要了解Hadoop和集群两个名词,Hadoop是由Apache基金会开发的分布式系统基础架构,简单理解就是大数据技术应用的基础.集群可以理解为多台装有ha ...
最新文章
- java maven mvn clean package 打包执行流程
- python培训出来的有公司要吗-参加Python培训后真的能找到工作吗?上海Python培训...
- 如何利用pycharm实现本地代码和远程的实时同步
- ftk学习记(combox篇)
- Docker使用小结(一)Docker镜像以及Docker容器
- 新浪微博api的使用
- linux vi命令怎么使用方法,linux vi命令的使用方法
- python调用有道翻译_python调用有道云翻译api
- 使用ps 制作gif 动图
- 首届中国云南普洱茶茶王获奖名单及常识
- win7与internet时间同步出错_Windows7旗舰版系统同步internet时间总是提示同步时出错怎么办...
- 17家IT创业公司的血泪史(3)
- 数据可视化,看这一篇就够了
- 计算机主板供电故障,电脑主板内部电池供电出现问题,会出现哪些故障问题
- 股票交易接口dll代码分享
- android 阅读 翻页,极速PDF安卓版如何翻页、阅读模式修改等操作详解
- 【每日一题】字符串转换成整数
- 我的世界服务器拔刀修复,我的世界拔刀剑怎么修复武器攻略分享
- 什么才是真正的 RESTful 架构?
- 2022跨考华中科技大学计算机学院学硕上岸经验分享
热门文章
- 第二次ScrumMeeting
- 为抗议SOPA法案 美国多款游戏下周将停运!
- block、inline和inline-block
- 怎么清理计算机空间,清理空间怎么清理_怎样清理空间-win7之家
- 10分钟爬取A股所有上市公司超千万条股票数据
- android 美团批量打包,Android 快速渠道批量打包详解教程-美团多渠道打包方案
- Midas GTS NX 模型转为(导入、转换) FLAC3D5.0的模型 c++源码 (midas to flac3d)
- NASA通过WebAPP提醒你抬头看看人类连续常驻达12年的太空站
- lua中判断一个字符串是否是合法的ip地址格式
- 网络安全学习(十六)