Ambari技术介绍-尚硅谷大数据培训
什么是Ambari
Apache Ambari项目旨在通过开发用于配置,管理和监控Apache Hadoop集群的软件来简化Hadoop管理。Ambari提供了一个直观,易用的Hadoop管理Web UI。
Ambari的功能
提供了跨任意数量的主机安装Hadoop服务的分步向导。
处理群集的Hadoop服务配置。
提供集中管理,用于在整个集群中启动,停止和重新配置Hadoop服务。
提供了一个仪表板,用于监控Hadoop集群的运行状况和状态。
利用Ambari指标系统进行指标收集。
利用Ambari Alert Framework进行系统警报,并在需要您注意时通知您(例如,节点出现故障,剩余磁盘空间不足等)。
环境准备
注意:以下操作三台机器都需要进行
1 虚拟机准备
克隆三台虚拟机(hadoop102、hadoop103、hadoop104),配置好对应主机的网络IP、主机名称、关闭防火墙。
[root@hadoop102 ~]# chkconfig iptables off
[root@hadoop102 ~]# service iptables stop
[root@hadoop102 ~]# chkconfig –list iptables
iptables 0:关闭 1:关闭 2:关闭 3:关闭 4:关闭 5:关闭 6:关闭
2 关闭SELINUX
[root@hadoop102 ~]# vim /etc/sysconfig/selinux
将SELINUX=enforcing改为SELINUX=disabled
执行该命令后重启机器生效
3 安装JDK
1)在hadoop102的/opt目录下创建module和software文件夹
[root@hadoop102 opt]# mkdir module
[root@hadoop102 opt]# mkdir software
2)用SecureCRT将jdk-8u144-linux-x64.tar.gz导入到hadoop102的/opt/software目录下
3)在Linux系统下的opt目录中查看软件包是否导入成功
[root@hadoop102 software]$ ls
jdk-8u144-linux-x64.tar.gz
4)解压JDK到/opt/module目录下
[root@hadoop102 software]$ tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/
5)配置JDK环境变量
(1)先获取JDK路径
[root@hadoop102 jdk1.8.0_144]$ pwd
/opt/module/jdk1.8.0_144
(2)打开/etc/profile文件
[root@hadoop102 software]$ vi /etc/profile
在profile文件末尾添加JDK路径
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin
(3)保存后退出
:wq
(4)让修改后的文件生效
[root@hadoop102 jdk1.8.0_144]$ source /etc/profile
6)测试JDK是否安装成功
[root@hadoop102 jdk1.8.0_144]# java -version
java version “1.8.0_144”
7)将hadoop102中的JDK和环境变量分发到hadoop103、hadoop104两台主机
[root@hadoop102 opt]# xsync /opt/module/
[root@hadoop102 opt]# xsync /etc/profile
分别在hadoop103、hadoop104上source一下
[root@hadoop103 ~]$ source /etc/profile
[root@hadoop104 ~]# source /etc/profile
4 SSH免密登录
配置hadoop102对hadoop102、hadoop103、hadoop104三台主机的免密登陆。
1)生成公钥和私钥:
[root@hadoop102 .ssh]$ ssh-keygen -t rsa
然后敲(三个回车),就会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
2)将公钥拷贝到要免密登录的目标机器上
[root@hadoop102 .ssh]$ ssh-copy-id hadoop102
[root@hadoop102 .ssh]$ ssh-copy-id hadoop103
[root@hadoop102 .ssh]$ ssh-copy-id hadoop104
5 修改yum源为阿里云镜像
[root@hadoop102 yum.repos.d]# mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bk
[root@hadoop102 yum.repos.d]# wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-6.repo
//把服务器的包下载到本地缓存
[root@hadoop102 yum.repos.d]# yum makecache
6 安装ntp
[root@hadoop102 ~]# yum install -y ntp
[root@hadoop102 ~]# chkconfig –list ntpd
[root@hadoop102 ~]# chkconfig ntpd on
[root@hadoop102 ~]# service ntpd start
7 关闭Linux的THP服务
如果不关闭transparent_hugepage,HDFS会因为这个性能严重受影响。
关闭transparent_hugepage方法是:
[root@hadoop102 ~]# vim /etc/grub.conf
添加 transparent_hugepage=never
[root@hadoop102 ~]# vim /etc/rc.local
添加:
if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
echo never > /sys/kernel/mm/transparent_hugepage/defrag
fi
if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
echo never > /sys/kernel/mm/transparent_hugepage/enabled
fi
exit 0
重启之后,用下面的命令检查:
[root@hadoop102 yum.repos.d]#
cat /sys/kernel/mm/redhat_transparent_hugepage/enabled
always madvise [never]
有 [never]则表示THP被禁用
8 配置UMASK
设定用户所创建目录的初始权限
[root@hadoop102 ~]# umask 0022
9 禁止离线更新
vim /etc/yum/pluginconf.d/refresh-packagekit.conf
修改:enabled=0
Ambari技术介绍-尚硅谷大数据培训相关推荐
- SQL语法应用介绍-尚硅谷大数据培训
1 CREATE 1.1 CREATE DATABASE 用于创建指定名称的数据库,语法如下: CREATE DATABASE [IF NOT EXISTS] db_name 如果查询中存在IF NO ...
- Hadoop源码编译介绍-尚硅谷大数据培训
前期准备工作 1.CentOS联网 使用能连接外网的CentOS系统虚拟机,使用root用户进行编译,避免出现文件夹权限问题. 2.Jar包准备 从官网下载以下安装包 (1)hadoop-3.1.3- ...
- Spark 内存管理存储内存管理_尚硅谷大数据培训
RDD的持久化机制 弹性分布式数据集(RDD)作为 Spark 最根本的数据抽象,是只读的分区记录(Partition)的集合,只能基于在稳定物理存储中的数据集上创建,或者在其他已有的 RDD 上执行 ...
- 电商数据源分析-尚硅谷大数据培训
数据源分析 1 user_visit_action user_visit_action 表:存放网站或者APP 每天的点击流数据.通俗地讲,就是用户对网站/APP 每点击一下,就会产生一条存放在这个表 ...
- Tableau工具使用简介-尚硅谷大数据培训
Tableau概述 作为领先的数据可视化工具,Tableau具有许多理想的和独特的功能.其强大的数据发现和探索应用程序允许您在几秒钟内回答重要的问题.您可以使用Tableau的拖放界面可视化任何数据, ...
- ElasticSearch环境配置-尚硅谷大数据培训
ElasticSearch(单节点)环境配置 // 通过Wget下载ElasticSearch安装包 [bigdata@linux ~]$wget https://artifacts.elastic. ...
- Azkaban环境配置-尚硅谷大数据培训
Azkaban(单节点)环境配置 1 安装Git // 安装GIT [bigdata@linux ~]$ sudo yum install git // 通过git下载Azkaban源代码 [bigd ...
- 尚硅谷大数据技术Hadoop教程-笔记02【Hadoop-入门】
视频地址:尚硅谷大数据Hadoop教程(Hadoop 3.x安装搭建到集群调优) 尚硅谷大数据技术Hadoop教程-笔记01[大数据概论] 尚硅谷大数据技术Hadoop教程-笔记02[Hadoop-入 ...
- 2019尚硅谷大数据Javaweb篇三 Ajax、JSTL、会话技术、过滤器、监听器、xml、json
2019尚硅谷大数据 Javaweb篇三Ajax.JSTL.会话技术.过滤器.监听器 tags: 大数据 2019尚学堂 categories: Ajax异步请求 JSTL中的if和forEach 会 ...
- 尚硅谷大数据技术之电商用户行为数据分析
尚硅谷大数据技术之电商用户行为分析 第1章 项目整体介绍 1.1 电商的用户行为 电商平台中的用户行为频繁且较复杂,系统上线运行一段时间后,可以收集到大量的用户行为数据,进而利用大数据技术进行深入挖掘 ...
最新文章
- 你知道什么是AVL树吗?
- 数据中心虚拟化的7大考量要素
- rsync 服务与配置文档
- 如何在包下创建子包?
- 数据采集提升性能篇-使用Mybatis的批量操作api导入数据
- 音视频技术开发周刊 | 213
- 数据挖掘肿瘤预测_科研套路不嫌多,数据挖掘发3分
- 耗时两个礼拜,8000字安卓面试长文,建议收藏
- jquery按键事件_jQuery按键事件
- 码农干货系列【6】--javascript异步编程之:世界上最短的Promise库
- python爬取知乎用户信息_python爬取知乎用户总结
- docker-compose up是什么意思
- 汉诺塔问题详解(C语言)
- matlab:pause命令
- 浅谈网站PR值 如何提高PR值
- MyBatis框架学习笔记01:初入MyBatis(一)
- 基于SSM的JSP MYSQL汽车租赁系统的汽车出租管理系统-mysqljava汽车出租管理系统租车管理系统
- 【小萝莉说Crash】第二期:Unrecognized selector xxx 之 ForwardInvocation
- 7 款开源 Java 反编译工具
- electron不是内部或外部命令,也不是可运行的程序