文章目录

  • 简介
  • 安装（使用本地源）
    • 安装ambari server
    • 修改主机名称和host文件
    • 关闭防火墙和selinux
    • ssh免密
    • 安装JDK和Mysql
      • 安装JDK
      • 安装mysql
    • 时钟同步
    • 安装ambari-server
    • 搭建HDP本地源

简介

Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari目前已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。

Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。

就 Ambari 的作用来说，就是创建、管理、监视 Hadoop 的集群，但是这里的 Hadoop 是广义，指的是 Hadoop 整个生态圈（例如 Hive，Hbase，Sqoop，Zookeeper 等），而并不仅是特指 Hadoop。用一句话来说，Ambari 就是为了让 Hadoop 以及相关的大数据软件更容易使用的一个工具。

安装文档：https://docs.cloudera.com/HDPDocuments/Ambari-2.7.0.0/bk_ambari-installation/content/ch_Getting_Ready.html

Ambari文档： https://docs.cloudera.com/HDPDocuments/Ambari/Ambari-2.7.0.0/index.html

安装（使用本地源）

安装ambari server

使用两台虚拟机搭建，一台用作server，一台用作agent

修改主机名称和host文件

hostnamectl set-hostname server.ambari.comhostnamectl set-hostname agent.ambari.com# 配置host vim /etc/hosts
192.168.198.88 server server.ambari.com
192.168.198.89 agent agent.ambari.com

关闭防火墙和selinux

  1. 关闭防火墙

    systemctl stop firewalld
systemctl disable firewalld.service

  2. 关闭selinux

    vim /etc/selinux/config
# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#     enforcing - SELinux security policy is enforced.
#     permissive - SELinux prints warnings instead of enforcing.
#     disabled - No SELinux policy is loaded.
SELINUX=disabled
# SELINUXTYPE= can take one of three values:
#     targeted - Targeted processes are protected,
#     minimum - Modification of targeted policy. Only selected processes are protected.
#     mls - Multi Level Security protection.
SELINUXTYPE=targetedsetenforce 0    # 临时关闭selinux
getenforce      # 查看selinux状态

ssh免密

注：只需要对server做其他节点的单向免密即可，同时需要进行自身免密

# 生成密钥
[root@server ~]# ssh-keygen -t rsa
[root@agent ~]# ssh-keygen -t rsa# 进行免密登录
[root@server ~]# ssh-copy-id server
[root@server ~]# ssh-copy-id agent

安装JDK和Mysql

安装JDK

  1. 安装JDK

  2. 配置环境变量

    vim .bash_profile# set java home
export JAVA_HOME=/home/jdk1.8.0_171
export JRE_HOME=/home/jdk1.8.0_171/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

安装mysql

  1. 创建Mysql本地源

    1. 安装&启动 httpd

      安装完成后会存在 /var/www/html 文件夹

      # 安装httpd
yum install httpd
# 启动httpd
systemctl start httpd
# 设置开机启动
systemctl enable httpd# 创建mysql-repo，用来存放mysql的rpm包
mkdir mysql-repo
# 将rpm包解压到该文件夹
tar -xvf mysql-5.7.23-1.el7.x86_64.rpm-bundle.tar -C /var/www/html/mysql_repo

      web页面访问：ip/mysql_repo

    2. 安装createrepo

      # 安装 createrepo
yum install createrepo# 创建本地源
createrepo /var/www/html/mysql_repo# 创建文件 *.repo 一定要以repo为文件后缀名
touch /etc/yum.repos.d/mysql-local.repo
vim /etc/yum.repos.d/mysql-local.repo# the RPMs of MySQL server
[mysql-local]
name=mysql-local
baseurl=http://192.168.24.88/mysql_repo
gpgcheck=0
enabled=1# 清空本地的yum源缓存
yum clean all
# 重新生成元数据
yum makecache# 使用yum查看本地源文件
yum list | grep mysql-local

  2. 安装mysql

    # 安装mysql
yum install -y mysql-community-server# 初始化mysql
mysqld --initialize --user=mysql --console# 启动mysql
systemctl start mysqld
# 开机自启
systemctl enable mysqld# 修改字符集
vim /etc/my.cnf# For advice on how to change settings please see
# http://dev.mysql.com/doc/refman/5.7/en/server-configuration-defaults.html# >>> 追加内容开始
[client]
port=3306
default-character-set=utf8[mysql]
default-character-set=utf8
# <<< 追加内容结束[mysqld]
#
# Remove leading # and set to the amount of RAM for the most important data
# cache in MySQL. Start at 70% of total RAM for dedicated server, else 10%.
# innodb_buffer_pool_size = 128M
#
# Remove leading # to turn on a very important data integrity option: logging
# changes to the binary log between backups.
# log_bin
#
# Remove leading # to set options mainly useful for reporting servers.
# The server defaults are faster for transactions and fast SELECTs.
# Adjust sizes as needed, experiment to find the optimal values.
# join_buffer_size = 128M
# sort_buffer_size = 2M
# read_rnd_buffer_size = 2M
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock# Disabling symbolic-links is recommended to prevent assorted security risks
symbolic-links=0log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid# >>> 追加内容开始
collation-server=utf8_general_ci
character_set_server=utf8
# <<< 追加内容结束# 重新启动mysql
systemctl restart mysqld# 查看原始密码
cat /var/log/mysqld.log | grep password
2020-12-18T09:11:35.497638Z 1 [Note] A temporary password is generated for root@localhost: 97iE:I.>T6ea# 登录mysql
mysql -uroot -p# 修改密码
mysql> alter user 'root'@'localhost' identified by '123456';# 查看字符集，字符集需要都是utf8，否则插入中文会出现乱码mysql> show variables like 'character%';
+--------------------------+----------------------------+
| Variable_name            | Value                      |
+--------------------------+----------------------------+
| character_set_client     | utf8                       |
| character_set_connection | utf8                       |
| character_set_database   | utf8                       |
| character_set_filesystem | binary                     |
| character_set_results    | utf8                       |
| character_set_server     | utf8                       |
| character_set_system     | utf8                       |
| character_sets_dir       | /usr/share/mysql/charsets/ |
+--------------------------+----------------------------+

  3. 新增ambari用户并增加权限

    mysql -uroot -p123456CREATE USER 'ambari'@'%' IDENTIFIED BY 'ambari';
GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%';
CREATE USER 'ambari'@'localhost' IDENTIFIED BY 'ambari';
GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'localhost';
CREATE USER 'ambari'@'server.ambari.com' IDENTIFIED BY 'server'; # 本地主机名
GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'server.ambari.com';  # 本地主机名
FLUSH PRIVILEGES;# 用户创建错误可以删除
Delete FROM user Where User='your_user' and Host='your_host';
FLUSH PRIVILEGES;

  4. 使用ambari用户登录并创建数据库

    mysql -uambari -pambari
CREATE DATABASE ambari;

时钟同步

  1. 主从节点安装ntp

    yum install -y ntp

  2. 查看主机时间

    ll /etc/localtime# 上海时区
lrwxrwxrwx. 1 root root 35 3月  25 2020 /etc/localtime -> ../usr/share/zoneinfo/Asia/Shanghai

    参考文档

    1. 主节点（server）

      vim /etc/ntp.conf# Use public servers from the pool.ntp.org project.
# Please consider joining the pool (http://www.pool.ntp.org/join.html).# 将以下服务注释，添加新的
# server 0.centos.pool.ntp.org iburst
# server 1.centos.pool.ntp.org iburst
# server 2.centos.pool.ntp.org iburst
# server 3.centos.pool.ntp.org iburstserver 127.127.1.0   # 表示NTP主服务器是与自身的系统时钟同步
fudge 127.127.1.0 stratum 10   # 指定阶层编号为10，降低其优先度

    2. 从节点（agent）

      vim /etc/ntp.conf# Use public servers from the pool.ntp.org project.
# Please consider joining the pool (http://www.pool.ntp.org/join.html).# 将以下服务注释，添加新的
# server 0.centos.pool.ntp.org iburst
# server 1.centos.pool.ntp.org iburst
# server 2.centos.pool.ntp.org iburst
# server 3.centos.pool.ntp.org iburstserver 127.127.1.0   # 表示NTP主服务器是与自身的系统时钟同步
fudge 127.127.1.0 stratum 10   # 指定阶层编号为10，降低其优先度
server server.ambari.com   # 配置时间服务器为本地的时间服务器
restrict server.ambari.com nomodify notrap noquery   # 允许上层时间服务器主动修改本机时间server server.ambari.com
restrict server.ambari.com nomodify notrap noquery

  3. 配置完成后启动ntp服务

    # 所有服务器都需要进行启动
systemctl start ntpd
systemctl enable ntpd# 所有agent节点需要使用 ntpdate 命令与server节点时间进行同步
ntpdate -u server.ambari.com

  4. 同步硬件时间

    # 查看硬件时间
hwclock# 将硬件时间与系统时间同步
hwclock --systohc

安装ambari-server

  1. 安装ambari yum本地源，在安装完成后需要将解压文件中的html删除否则有些rpm包是无法访问到的

    # 解压文件
tar -zxvf ambari-2.7.1.0-centos7.tar.gz
# 将ambari包含rpm文件的文件夹移动到/var/www/html
mv ambari /var/www/html
cd /var/www/html
mv ambari ambari_repo# 创建源
createrepo /var/www/html/ambari_repo# /etc/yum.repo.d 创建repo文件,并写入以下内容
vim ambari-local[ambari-local]
name=ambari-local
baseurl=http://192.168.24.88/ambari-local
gpgcheck=0
enabled=1# 清空本地的yum源缓存
yum clean all
# 重新生成元数据
yum makecache

  2. 安装ambari-servere

    yum install ambari-server# 上传驱动文件，修改配置文件
echo server.jdbc.driver.path=/usr/share/java/mysql-connector-java-5.1.25.jar >> /etc/ambari-server/conf/ambari.properties# 设置ambari jdbc驱动，必须在/usr/share/java此路径下存放驱动jar
ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java-5.1.25.jar

  3. 设置服务

    # 设置服务
ambari-server setup[root@server resources]# ambari-server setup
Using python  /usr/bin/python
Setup ambari-server
Checking SELinux...
SELinux status is 'disabled'
Customize user account for ambari-server daemon [y/n] (n)? y
Enter user account for ambari-server daemon (root):
Adjusting ambari-server permissions and ownership...
Checking firewall status...
Checking JDK...
[1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8
[2] Custom JDK
==============================================================================
Enter choice (1): 2
WARNING: JDK must be installed on all hosts and JAVA_HOME must be valid on all hosts.
WARNING: JCE Policy files are required for configuring Kerberos security. If you plan to use Kerberos,please make sure JCE Unlimited Strength Jurisdiction Policy Files are valid on all hosts.
Path to JAVA_HOME: /home/software/jdk1.8.0_171
Validating JDK on Ambari Server...done.
Check JDK version for Ambari Server...
JDK version found: 8
Minimum JDK version is 8 for Ambari. Skipping to setup different JDK for Ambari Server.
Checking GPL software agreement...
GPL License for LZO: https://www.gnu.org/licenses/old-licenses/gpl-2.0.en.html
Enable Ambari Server to download and install GPL Licensed LZO packages [y/n] (n)? y
Completing setup...
Configuring database...
Enter advanced database configuration [y/n] (n)? y
Configuring database...
==============================================================================
Choose one of the following options:
[1] - PostgreSQL (Embedded)
[2] - Oracle
[3] - MySQL / MariaDB
[4] - PostgreSQL
[5] - Microsoft SQL Server (Tech Preview)
[6] - SQL Anywhere
[7] - BDB
==============================================================================
Enter choice (1): 3
Hostname (localhost): server.ambari.com
Port (3306): 3306
Database name (ambari): ambari
Username (ambari): ambari
Enter Database Password (bigdata):
Re-enter password:
Configuring ambari database...
Enter full path to custom jdbc driver: /root/drivers/mysql-connector-java-5.1.25.jar
Copying /root/drivers/mysql-connector-java-5.1.25.jar to /usr/share/java
Configuring remote database connection properties...
WARNING: Before starting Ambari Server, you must run the following DDL against the database to create the schema: /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
Proceed with configuring remote database connection properties [y/n] (y)? y
Extracting system views...
ambari-admin-2.7.1.0.169.jar
....
Ambari repo file contains latest json url http://public-repo-1.hortonworks.com/HDP/hdp_urlinfo.json, updating stacks repoinfos with it...
Adjusting ambari-server permissions and ownership...
Ambari Server 'setup' completed successfully.# 如果上述某一步安装失败，可是重新进行设置
ambari-server stop
ambari-server reset
ambari-server setup

    响应安装提示：

    1. 如果您尚未临时禁用SELinux，则可能会收到警告。接受默认值（y），然后继续。

    2. 默认情况下，Ambari Server在下运行root。(n)在Customize user account for ambari-server daemon提示符下接受默认值 ，以继续root。如果要创建其他用户来运行Ambari Server或分配先前创建的用户，请y在Customize user account for ambari-server daemon提示时选择，然后提供用户名。 ----------- 选择n

    3. 如果您尚未暂时禁用iptables，则可能会收到警告。输入**y**以继续。

    4. 选择要下载的JDK版本。输入1以下载Oracle JDK 1.8。 --------选择**1**

      默认情况下，Ambari Server安装程序会下载并安装Oracle JDK 1.8和随附的Java密码学扩展（JCE）策略文件。

    5. 要继续默认安装，请在出现提示时接受Oracle JDK许可证。您必须接受此许可才能从Oracle下载必需的JDK。JDK是在部署阶段安装的。

      或者，您可以输入2以下载定制JDK。如果选择“定制JDK”，则必须在所有主机上手动安装JDK并指定Java Home路径。

      注意
      要安装OpenJDK，请使用“自定义”选项。准备向Ambari提供有效的JAVA_HOME值。强烈建议您在所有主机上一致地安装JDK软件包。

    6. 出现提示时，请查看GPL许可协议。要明确允许Ambari下载和安装LZO数据压缩库，您必须answer y。如果输入**n，则Ambari不会在集群中的任何新主机上自动安装LZO。在这种情况下，您必须确保正确安装和配置了LZO。如果未安装和配置LZO，将无法读取使用LZO压缩的数据。如果您不希望Ambari自动下载并安装LZO，则必须确认选择以继续。 --------------选择y**

    7. 选择**natEnter advanced database configuration以将默认的嵌入式PostgreSQL数据库用于Ambari。PostgreSQL的默认数据库名称是ambari。默认的用户名和密码是ambari/bigdata。否则，要在Ambari中使用现有的PostgreSQL，MySQL / MariaDB或Oracle数据库，请选择 y。 --------选择n**

      • 如果使用的是现有的PostgreSQL，MySQL / MariaDB或Oracle数据库实例，请使用以下提示之一：

        重要
        在运行安装程序并输入高级数据库配置之前，您必须准备一个现有的数据库实例。
        重要
        不支持使用Microsoft SQL Server或SQL Anywhere数据库选项。

      • 要使用现有的Oracle实例，并为该数据库选择您自己的数据库名称，用户名和密码，请输入**2**。

        选择要使用的数据库，并在提示符下提供所需的任何信息，包括主机名，端口，服务名或SID，用户名和密码。

      • 要使用现有的MySQL / MariaDB数据库，并为该数据库选择您自己的数据库名称，用户名和密码，请输入**3**。

        选择要使用的数据库，并在提示符下提供所需的任何信息，包括主机名，端口，数据库名，用户名和密码。

      • 要使用现有的PostgreSQL数据库，并为该数据库选择您自己的数据库名称，用户名和密码，请输入**4**。

        选择要使用的数据库，并在提示符下提供所需的任何信息，包括主机名，端口，数据库名，用户名和密码。

    8. 在Proceed with configuring remote database connection properties [y/n]选择**y**。

    9. 安装完成。

      注意
      如果主机通过代理服务器访问Internet，则必须将Ambari服务器配置为使用此代理服务器。

  4. 初始化mysql

    mysql -uambari -pambari
use ambari;
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

  5. 启动ambari-server

    ambari-server start# 查看ambari启动日志
tail -f /var/log/ambari-server/ambari-server.log

  6. 某节点Agent安装失败，可单独在此节点手动安装agent并启动，如下：

    yum install ambari-agentvi /etc/ambari-agent/conf/ambari-agent.ini[server]hostname=node4url_port=8440secured_url_port=8441ambari-agent start

搭建HDP本地源

  1. 下载本地源所需要的tar包 & 解压 & 创建本地源（参考Mysql创建本地源)

    tar -zxvf HDP-3.0.0.0-centos7-rpm.tar.gz
tar -zxvf HDP-GPL-3.0.0.0-centos7-gpl.tar.gz
tar -zxvf HDP-UTILS-1.1.0.22-centos7.tar.gz

Ambari简介安装相关推荐

  1. 【ambari】Ambari 环境安装

    1.概述 转载:Ambari 环境安装

  2. Python 3 mysql 简介安装

    Python 3 mysql 简介安装 一.数据库是什么 1.  什么是数据库(DataBase,简称DB) 数据库(database,DB)是指长期存储在计算机内的,有组织,可共享的数据的集合.数据 ...

  3. 九阴真经Ambari——3.安装并配置MariaDB

    转载请注明出处:https://yuhaidong.blog.csdn.net//article/details/86693553 本文出自[我是干勾鱼的博客] Ingredients: Java:J ...

  4. 在使用ambari进行安装部署过程中遇到的glibc问题

    在使用ambari进行安装部署过程中遇到的glibc问题 使用 yum check rpm -e rpm -q 处理问题 报错信息如下: stderr: Traceback (most recent ...

  5. Apache Ambari 简介

    Ambari的作用 Ambari服务器是对集群做修改的主要接口,配置文件由它维护,Ambari保证所有节点上的配置文件是相同的,每一次服务的配置更改时会被自动重新分发到所有的几点,整个集群(10-40 ...

  6. Tomcat简介 安装 配置 示例

    Tomcat简介 & 安装 & 配置 & 示例 1.Tomcat简介 2.Tomcat安装 1)RPM包安装 2)二进制安装 3.配置 1)server.xml组件类别 2)s ...

  7. hbase 数据库简介安装与常用命令的使用

    一:hbase 简介与架构功能 二:hbase 安装与配置 三:hbase 常见shell 命令操作 一:hbase 简介与架构功能 1.1 为什么要使用hbase 数据库 传统的RDBMS关系型数据 ...

  8. anaconda的python使用教程-Python,Anaconda简介安装使用教程

    ① 首先,自己也是闲来无趣刚刚开始接触Python这门语言,收集了一些关于一些初级的学前准备资料仅供大家参考 Python简介: Python 是一个高层次的结合了解释性.编译性.互动性和面向对象的脚 ...

  9. 【Flutter】shared_preferences 本地存储 ( 简介 | 安装 shared_preferences 插件 | 使用 shared_preferences 流程 )

    文章目录 一.shared_preferences 本地存储插件简介 二.安装 shared_preferences 插件 三.使用 shared_preferences 流程 四.完整代码示例 五. ...

最新文章

  1. 零编程基础学python-零编程基础怎么自学python？
  2. 1、cocos2dx开发学习第一篇-项目工程的创建
  3. MATLAB读取一张RGB图片转成YUV格式
  4. 优秀的服务器托管服务商的必备要素
  5. 原创：MS Dynamics AX - XBRL 功能
  6. Jmail的使用,可以发送给多人
  7. Apache Accumulo 1.9.3 发布，高性能 K/V 存储方案
  8. 获取进程或线程的ID以及句柄信息
  9. 格灵深瞳开源全球最大最干净的人脸识别数据集：Glint360K
  10. 全面IT资源监控 构建新一代数字化校园——天津大学
  11. 逆向project实战--Afkayas.1
  12. 普通机器学习模型的提升
  13. CPT104 计算机操作系统概念笔记
  14. 函数式编程的兴衰（Composing Software 1）
  15. 【图像去噪】基于自适应布谷鸟算法优化维纳滤波器实现多光谱图像去噪附matlab代码
  16. 智慧图书馆管理系统提升服务水平和工作效率
  17. 邮箱手动修改服务器配置,邮箱登录手动修改服务器配置
  18. 百度相关搜索是怎么出现的如何利用
  19. 一、Arduino介绍
  20. html5怎么将字体变成斜体,；html5斜体字

热门文章

  1. 《2D GAME ART,ANIMATION,AND LIGHTING FOR ARTISTS＞第三期(翻译)
  2. 大前端-Vue源码分析
  3. 一个基于.Net+Vue开发的开源权限工作流系统
  4. 空间转换-3D-在空间中的位移、旋转、缩放
  5. 2009年11月11日，博客更新公告！
  6. 北京交通大学计算机系2018年录取情况,北京交通大学2018年高招录取分数统计（陆续更新中）...
  7. Android自定义日历控件，自带农历节假日，已经开源，即取即用~
  8. 编程语言中，到底什么是变量，变量的作用是什么？
  9. 解析人的本性：疑性、善性和勇性
  10. 同一个应用安装两个apk在同一个手机的方法