环境准备

当需要将一台主机加入到 Ambari 管理的Hadoop集群时,需要对主机进行以下相关设置。

设置hostname并分发hosts文件

每台机器都需要设置唯一的hostname。集群内所有机器的IP和hostname对应关系应全部写入每台机器的hosts文件中。

设置系统语言

Ambari管理下的各节点主机请设置为英文,否则会无法加入集群。

centos7

localectl set-locale LANG=en_US.UTF-8  # 重新登录后生效

centos6,修改/etc/sysconfig/i18n内容

LANG="en_US.UTF-8"

立刻生效:

source /etc/sysconfig/i18n

禁用selinux

  • 查看状态:
sestatus
  • 临时关闭:
setenforce 0    # 设置SELinux 成为permissive模式# setenforce 1 设置SELinux 成为enforcing模式
  • 永久禁用
修改 /etc/selinux/config 文件
将 SELINUX=enforcing(或SELINUX=permissive) 改为 SELINUX=disabled
重启机器即可

关闭防火墙

centos6

service iptable status  # 查看状态
servcie iptables stop   # 停止
chkconfig iptables off  # 禁止开机启动

centos7

systemctl status firewalld  # 查看状态
systemctl stop firewalld    # 停止
systemctl disable firewalld # 禁止开机启动

开启ntp

centos6

yum install ntp     # 安装
service ntpd start  # 启动
chkconfig ntpd on   # 设置为开机启动

centos7

yum install ntp         # 安装
systemctl start ntpd    # 启动
systemctl enable ntpd   # 设置为开机启动

安装jdk

centos6/7

yum install java-1.8.0-openjdk  # JAVA_HOME 为 /usr/lib/jvm/jre

安装Ambari Server过程中如果选择自定义JDK的话,需要填写JAVA_HOME,请注意该JAVA_HOME的值在Ambari Agent上面也要可用。请安装JDK1.8,避免不必要的麻烦。因为部分组件可能使用JDK1.8编译,用JDK1.7无法运行。

关闭Transparent Huge Pages

  • centos6

修改/etc/grub.conf,在kernel参数后添加 transparent_hugepage=never,如下:

title CentOS (2.6.32-431.el6.x86_64)root (hd0,0)kernel /vmlinuz-2.6.32-431.el6.x86_64 ro root=/dev/mapper/VolGroup-lv_root rd_NO_LUKS LANG=en_US.UTF-8 rd_NO_MD
rd_LVM_LV=VolGroup/lv_swap SYSFONT=latarcyrheb-sun16 crashkernel=auto rd_LVM_LV=VolGroup/lv_root  KEYBOARDTYPE=pc KEYTABLE=us rd_NO_DM rhgb quiet transparent_hugepage=neverinitrd /initramfs-2.6.32-431.el6.x86_64.img

保存后重启即可。

  • centos7

首先检查THP的启用状态:

cat /sys/kernel/mm/transparent_hugepage/defrag /sys/kernel/mm/transparent_hugepage/enabled
[always] madvise never
[always] madvise never

上面的输出就说明都是启用的。

编辑/etc/rc.d/rc.local,增加下列内容:

if test -f /sys/kernel/mm/transparent_hugepage/enabled; thenecho never > /sys/kernel/mm/transparent_hugepage/enabled
fi
if test -f /sys/kernel/mm/transparent_hugepage/defrag; thenecho never > /sys/kernel/mm/transparent_hugepage/defrag
fi

保存退出,然后赋予rc.local文件执行权限:

chmod +x /etc/rc.d/rc.local

重启系统,再检查THP应该就是被禁用了

cat /sys/kernel/mm/transparent_hugepage/enabled /sys/kernel/mm/transparent_hugepage/defrag
always madvise [never]
always madvise [never]

自定义资源库

安装Ambari Server时如果使用了自定义资源库,即使用/etc/yum.repos.d/ambari.repo文件配置了自定义资源库地址,那么安装Ambari Agent时也会使用该资源库地址。

配置SSH免密码登录

  1. 生成密钥对
ssh-keygen  # 执行成功后,在 ~/.ssh/ 目录生成密钥对,id_rsa 是私钥,id_rsa.pub 是公钥
  1. 配置免密码登录

设登录服务器地址为hostname,登录用户名为username

ssh-copy-id -i ~/.ssh/id_rsa.pub username@hostname

以后就可以使用私钥(~/.ssh/id_rsa)进行免密码登录了

离线安装可能需要的依赖包

在离线环境采用本地Ambari+HDP资源库安装时,还会遇到部分依赖包需要单独安装的情况,这些包应该都在操作系统默认的资源库中,可以使用操作系统安装盘挂载形成资源库的方式安装,或手工下载rpm包安装。目前已知此类包有:

包名称 资源库名称 备注
postgresql,postgresql-server,postgresql-libs CentOS Update
libtirpc-devel CentOS Base
python-argparse CentOS7中该模块包含在python中,无需单独安装

转载于:https://www.cnblogs.com/hibugs/p/10275590.html

ambari搭建注意事项相关推荐

  1. Hadoop大数据平台环境搭建注意事项,分布式数据采集,武汉数道云科技

    Hadoop大数据作为时代发展的产物,影响着互联网企业发展.以及企业关于品牌形象推广.政府有关民意采集.以及有关数据信息收集分类------ Hadoop技术的发展,带来了海量数据高效处理的能力,也给 ...

  2. 医药知识图谱项目搭建注意事项(QASystemOnMedicalKG)

    医药知识图谱项目搭建注意事项(QASystemOnMedicalKG)## 标题 1.注意neo4j版本 4.0以上需要安装java11,低于4.0的版本需要java 8,同时注意对应的py2neo驱 ...

  3. [Flink课程]---- 9.1 使用Ambari 搭建Flink 集群

    转自: https://blog.csdn.net/high2011/article/details/90272331 lee / ambari-flink-service: https://gite ...

  4. CATIAV5R21+CAA+RADE+VS2008二次开发环境搭建注意事项

    CATIAV5R21+CAA+RADE+VS2008二次开发环境搭建注意事项 安装CATIA ProgramData文件夹复制到C盘 netapi32.dll复制到CATIA安装路径 不勾选的许可证 ...

  5. 关于在真实物理机器上用cloudermanger或ambari搭建大数据集群注意事项总结、经验和感悟心得(图文详解)...

    真实物理机器搭建 不能上述虚拟机里创建用户方式了.要如下操作: ubuntu和windows一样,可以任意创建或者删除新的用户,windows下比较简单,ubuntu下需要使用命令,不过操作起来不是很 ...

  6. Apache开源顶级项目Ambari搭建HDP大数据平台

    搭建Hortonworks Data Platform大数据平台 Ambari 跟 Hadoop 等开源软件一样,也是 Apache Software Foundation 中的一个项目,并且是顶级项 ...

  7. Ambari搭建大数据平台教程(HDP)

    搭建测试环境 本文是公司搭建测试环境大数据平台时总结的,按安装相应版本的官方文档的步骤翻译过来的.其中遇到了一些问题,相应的解决方案也都一一列举了.按照这个方式一定可以搭建成功. 基本信息: 系统:U ...

  8. 期货软件开发与平台搭建注意事项

    期货软件开发和期货平台搭建需要注意很多内容,关系到后期运营的是否正常稳定.现在市面上的很多的期货交易系统软件平台,基本都支持支持PC.安卓APP端,微信端.且具备风控系统.杠杆系统.交易系统.在线出入 ...

  9. hadoop集群ambari搭建(1)之ambari-server安装

    Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应.管理和监控.Ambari目前已支持大多数Hadoop组件,包括HDFS.MapReduce.Hive.Pig ...

最新文章

  1. 异类框架BigDL,TensorFlow的潜在杀器!
  2. 喧喧发布 2.5.2 版本,主要修复已知问题
  3. 运维人员日常工作(转自老男孩)
  4. 难道网上就没有真正完全无误的Postfix教程了吗?
  5. 大众CEO称市场有足够资金,支持建设6座大型电池工厂
  6. 智能推荐系统之数据预处理
  7. cts测试之FileAccessPermissionTest
  8. hover 插入html元素,解决hover生成border造成的元素移动方法
  9. (转)霍华德·马克斯:警惕那些人人都追捧的事物
  10. 12306订票候补是个坑_12306网上订票候补是什么意思
  11. 项目管理(课程总结1)Week1 澳大利亚维多利亚大学VIT1203 Introduction to Project Management
  12. 2020_ICML_Neuro-Symbolic Visual Reasoning: Disentangling “Visual” from “Reasoning”
  13. 温习古文之念奴娇·赤壁怀古
  14. java中length和length()方法的区别
  15. app闪退之-- GL error: Out of memory!
  16. 常用浏览器兼容性测试点总结
  17. 用opacity方法来隐藏元素后,照样可以触发绑定在其身上的点击事件
  18. 《那些年啊,那些事:一个程序员的奋斗史》
  19. linux下的opencv-4.5.5 及 opencv_contrib 扩展模块安装
  20. asp.net日期控件

热门文章

  1. html自动适应屏幕分辨率,css如何自适应屏幕大小?
  2. MySQL 排名函数.md
  3. android view退出动画,android animation——view进来退出动画
  4. java 中 的 =,java 中的 |=、=、^=
  5. vue 用jsp 还是html,如何在jsp页面里使用vue
  6. java 反射 内存_Java 反射
  7. OpenCV Mat基础认知感
  8. Java常用设计模式————桥接模式
  9. SpringBoot学习——@Autowired自动注入报:could not be found问题的理解和解决方案
  10. JVM001_类文件结构