0110-如何给Kerberos环境下的CDH集群添加Gateway节点
2019独角兽企业重金招聘Python工程师标准>>>
Fayson的github: https://github.com/fayson/cdhproject
1.文档编写目的
Gateway节点又称为客户端节点,通常用作访问Hadoop集群的接口机。它主要会部署一些客户端的配置,脚本命令,比如HDFS的core-site.xml,hdfs-site.xml以及hadoop的操作命令。
如果你使用的是Apache Hadoop,你只需要将hadoop相关服务的配置和脚本命令拷贝到客户端机器即可,但一旦集群的配置有所修改,你需要注意也同步到客户端机器。如果是CDH集群,客户端节点也会是Cloudera Manager管理的一台机器,它会被安装cloudera-scm-agent服务,以及CDH的Parcel,部署客户端配置Cloudera Manager会统一做,另外如果客户端机器出现异常,Cloudera Manager也会告警。
增加一台Gateway节点,与安装CDH非常类似,你必须要注意一定要做好客户端机器的前置条件准备,参考《CDH安装前置准备》,否则会增加失败。前面Fayson介绍过在非Kerberos环境下部署Gateway节点,参考《如何给CDH集群增加Gateway节点》。本文则主要是介绍如何在Kerberos环境下给CDH集群增加Gateway节点。
内容概述
1.创建Gateway节点的主机模板
2.Gateway节点的前置准备
3.增加Gateway节点到集群并应用主机模板
4.GateWay节点命令测试
测试环境
1.CDH5.13
2.采用root用户操作
3.CentOS6.5
前置条件
1.CDH5.13集群运行正常
2.Gateway节点已准备,并准备好前置
2.创建Gateway节点的主机模板
1.从Cloudera Manager进入“主机模板”页面
2.点击“创建”
3.给模板命名,点击各个服务勾选相应的GateWay角色
4.点击“创建”,确认创建成功.
3.Gateway节点的前置准备
前置准备请参考Fayson之前的文章《CDH安装前置准备》,主要包括以下步骤:
1.确保OS的yum源可以正常使用,通过yum repolist命令可以查看到匹配的OS的所有包
2.确保Cloudera Manager的yum源运行正常
3.hosts文件配置,需要将Gateway节点的IP和hostname加入到CDH集群节点的hosts文件中,并同步到所有机器包括Gateway节点
4.禁用SELinux
5.关闭防火墙
6.设置swap为10
7.关闭透明大页面
8.配置时钟同步
请务必确保以上操作都已完成,并成功配置,否则接下来的增加节点操作会失败!
4.安装Kerberos客户端
由于集群启用了Kerberos服务,所以需要在Gateway节点安装Kerberos客户端。
1.在Gateway节点上执行如下命令
[ec2-user@ip-172-31-31-212opt]$ sudo yum -y install krb5-libskrb5-workstation
安装成功后查看安装的RPM包
[ec2-user@ip-172-31-31-212opt]$ rpm -qa |grep krb
krb5-workstation-1.15.1-8.el7.x86_64
krb5-libs-1.15.1-8.el7.x86_64
krb5-devel-1.15.1-8.el7.x86_64
[ec2-user@ip-172-31-31-212 opt]$
2.将CM集群中的krb5.conf文件拷贝至该Gateway节点
[ec2-user@ip-172-31-22-86 ~]$ scp -i fayson.pem.txt /etc/krb5.conf ip-172-31-31-212:/home/ec2-user/
3.在Gateway节点将krb5.conf文件拷贝至/etc目录下
[ec2-user@ip-172-31-31-212 ~]$ sudo cp krb5.conf /etc/
[ec2-user@ip-172-31-31-212 ~]$ sudo chown root. /etc/krb5.conf
[ec2-user@ip-172-31-31-212 ~]$ ll /etc/krb5.conf
-rw-r--r-- 1 root root 837 Dec 9 00:28 /etc/krb5.conf
[ec2-user@ip-172-31-31-212 ~]$
4.在GateWay节点测试Kerberos客户端是否部署成功
[ec2-user@ip-172-31-31-212 ~]$ kinit -kt fayson.keytab fayson
[ec2-user@ip-172-31-31-212 ~]$ klist
Ticket cache: FILE:/tmp/krb5cc_1000
Default principal: fayson@CLOUDERA.COMValid starting Expires Service principal
12/09/2017 00:31:53 12/10/2017 00:31:53 krbtgt/CLOUDERA.COM@CLOUDERA.COMrenew until 12/16/2017 00:31:53
[ec2-user@ip-172-31-31-212 ~]$
有如上图所示则表示Kerberos客户端安装成功。
5.增加Gateway节点的集群并应用主机模板
1.进入“所有主机”页面
2.点击“向群集添加主机”
3.选择“经典向导”
4.继续
5.输入Gateway节点的IP或者hostname,点击搜索
6.点击“继续”,选择“自定义存储库”,并输入Cloudera Manager的yum源http地址
7.点击“继续”,勾选Java的两个选项
8.点击“继续”,输入Gateway节点的ec2-user密码
9.点击“继续”,等待cloudera-scm-agent在Gateway节点上安装
安装完成点击“继续”
10.点击“继续”,等待分发Parcel包并激活
完成后,点击“继续”
11.点击“继续”,进行主机检查
12.完成主机检查,点击“继续”,选择主机模板
13.点击“继续”,启动主机上的角色
等待执行成功
14.点击“继续”,部署客户端配置
15.点击完成,查看主机列表GateWay节点的角色信息
至此,给Kerberos环境下CDH集群增加新的Gateway节点完成。
6.Gateway节点测试
1.HDFS命令测试
[ec2-user@ip-172-31-31-212 ~]$ hadoop fs -ls /
2.HBase命令测试
[ec2-user@ip-172-31-31-212 ~]$ hbase shell
3.Hive命令测试
[ec2-user@ip-172-31-31-212 ~]$ hive
4.hadoop命令向集群提交作业
[ec2-user@ip-172-31-31-212 ~]$ hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 5 5
为天地立心,为生民立命,为往圣继绝学,为万世开太平。
推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。
转载于:https://my.oschina.net/u/4016761/blog/2979348
0110-如何给Kerberos环境下的CDH集群添加Gateway节点相关推荐
- aix oracle集群日志,在AIX环境下实施Oracle 集群RAC的结构 文平
<oracle大型数据库系统在AIX/unix上的实战详解>集中讨论34:在AIX环境下实施Oracle 集群RAC的结构 文平 看来能用的起IBM p服务器的用户,都能用的起RAC. ...
- 在windows环境下配置mongoDB集群
在windows环境下配置mongoDB集群 mongodb官网 官网分片文档 首先感谢这次参考的文章: mongodb搭建高可用分片集群示例-天才卧龙 MongoDB高可用集群搭建示例-lizh 配 ...
- 多云环境下部署 k3s 集群
多云环境下部署 k3s 集群 最近在玩k3s,刚好手上有三台云服务器(白嫖的一年亚马逊,双11买的腾讯云,朋友的阿里云),尝试跨云厂商搭建k3s集群玩玩 一.基础配置 服务器信息 系统 公网IP 内网 ...
- 阿里云环境下搭建HadoopHA集群
阿里云环境下搭建HadoopHA集群 1. HadoopHA介绍 1.1 hadoop高可用集群的简介 hadoop是一个海量数据存储和计算的平台,能够存储PB级以上的数据,并且利用MapRedu ...
- windows下配置redis集群,启动节点报错:createing server TCP listening socket *:7000:listen:Unknown error...
windows下配置redis集群,启动节点报错:createing server TCP listening socket *:7000:listen:Unknown error 学习了:https ...
- 【Data Cluster】真机环境下MySQL数据库集群搭建
真机环境下MySQL-Cluster搭建文档 MySQL Cluster简介 MySQL cluster 和 Oracle RAC 完全不同,它采用 无共享架构Shared nothing(share ...
- centos7环境下搭建storm集群
前提: 使用的zookeeper集群为:11.12.112.215:2181,11.12.112.216:2181,11.12.112.217:2181 并且zookeeper集群已经启动成功:下面将 ...
- Windows环境下redis的集群部署
一.软件环境&工具 1. windows7 2. Redis-x64-3.2.100.msi 安装包 redis-win-3.2.100.zip代码包 下载地址:https://githu ...
- DM8DSC iscsi+Mutipath环境下的共享集群部署
外部 云南农信社OA临时数据库 实施部署文档 武汉达梦数据库股份有限公司 2021年11月19日 修订时间 修订人 修订内容 2021-11-19 王建军 创建文档 服务器硬件需求 按实际业务需求,选 ...
最新文章
- 1:1 人脸比对 开源_Hacktoberfest:我的开源门户
- andorid 通过包名启动应用
- 扫描的图片怎么转换成word
- GIS输出PDF为什么标注有问题
- 计算机网络·详解TCP流量控制,拥塞控制,运输连接管理
- Swift中文教程(三)--流程控制
- centos 查找nginx_centos7肿么查看已经安装nginx
- jquery对json的各种遍历
- 机械动力学瑞利法matlab程序,工业机器人的动力学建模与仿真+MATLAB程序
- 本特利探头330104-00-02-10-02-00
- weka进行十折交叉验证
- csdn下载分获取方法
- iOS打包ipa无签名打包企业签
- 模型调参(一):weight decay(权重衰减)【“权重衰减”也叫“L1/L2正则化”】【权重衰减系数:正则项系数 λ】【对参数w有影响、对偏置b没影响】【偏置不加正则】
- 单细胞测序的marker基因
- 实验室服务器系统崩溃,选课系统崩溃解救报告
- SIMPLE、PISO 、PIMPLE算法浅析
- Android客户端与PC服务器通过socket进行交互实例
- 成都榆熙:怎么解除拼多多商品的推广限制
- android studio keystore.jks,jks和keystore的区别
热门文章
- boost::json::value用法的测试程序
- boost::hana::then用法的测试程序
- boost::depth_first_search用法的测试程序
- boost::fibers::algo::shared_work >用法的测试程序
- boost::asio::ip::tcp实现阻塞tcp echo客户端的程序
- VTK:可视化之ChooseTextColor
- VTK:PolyData之WarpSurface
- C++确定数字的奇偶校验的算法实现(附完整源码)
- C++Quick sort快速排序的实现算法之一(附完整源码)
- C++ Opengl 3D世界源码