Cloudera Certified Associate Administrator案例之Install篇

　　　　　Cloudera Certified Associate Administrator案例之Install篇

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰

一.创建主机模板（为了给主机套用，说白了就是给新加入集群的节点提前分配好角色）

问题描述：公司新购了一批机器，准备扩充DataNode节点。你决定用CM的host template功能来为新机器配置DataNode通用的服务。新节点需要作为HDFS和YARN的工作节点，因此模板的设计如下：名称：Temp1HDFS roles：DatanodeYARN roles：NodeManager要求需要套用HDFS和YARN的Default Group的配置解决方案：　　在企业级实战中，集群扩容时常见且重要的操作，如果手工一台一台操作，不仅效率地下，而且容易出错。　　CM提供了多种机制来简化扩容操作，其中host template就是其中重要的一种，通过该特性，可以大大简化工作节点的配置（对于管理节点，工具节点，边缘节点，如果有多台配置完全一样，也可以使用该特性来扩容），如Datanode，Nodemanager，Kafka Broker等。

1>.点击主机，选择"主机模板"

2>.点击创建

3>.自定义模板名称并选择对应的角色和组

4>.创建成功

二.创建角色组

问题描述：公司新购了一批机器，准备扩充DataNode节点。然而，新机器的硬件配置和旧机器有一些差异。你决定为旧机器创建一个角色组，设置合适的配置。新机器继续使用默认的组（Default Group）的配置，就如前面我们配置的模板一样。新角色组的需求为：　　　　命名为DN1,先继承默认的角色组的配置，并使用旧机器套用DN1的配置。然后要变更一些参数，DN1的Default Group的DataNode Volume Choosing Policy参数都必须设置为Avaliable Space。　　　　Default Group的Available Space Policy Balanced Preference参数需要设置为0.85，DN1的Available Space Policy Balanced Preference参数设置为0.8。
解决方案：　　异构集群是Hadoop运维中比较棘手的一个问题，因此我们推荐大家在新建集群时尽量使用相同的硬件（工作节点）以避免各种麻烦。但现实中由于企业规划不佳，采购限制等诸多原因，很可能出现异构的情况，因此我们需要具备一定的应对能力。

1>.使用正确的用户名密码登录CM界面,点击hdfs服务

2>.进入HDFS服务管理界面后，点击"配置"，再点击"角色组"

3>.点击"创建"按钮来创建一个自定义的角色组

4>.编辑角色组信息

5>.查看Datanode默认组的节点信息

6>.如下图所示，点击“移至另一个角色组”

7>.点击"移动"

8>.默认角色组已经移动到咱们刚刚新建的dn1角色组，但需要重启才能生效，我们不着急重启，继续看下一步操作。

9>.搜索关键字"DataNode Volume Choosing Policy"

10>.搜索关键字“Available Space Policy Balanced Preference”

11>.做完上述操作后，我们需要重启HDFS集群，使得配置生效

三.将新节点加入集群

问题描述：正式地将新节点加入集群。我们需要将node107.yinzhengjie.org.cn这个节点加入CM的托管，并套用Temp1这个主机模板从而加入集群。解决方案：在实践中集群扩容，损坏硬件更换时都设计到这个操作，因此也要熟练掌握。我们假设将要加入集群的主机已经配置好环境并启动Cloudera Manager Agent进程，详情请参考：https://www.cnblogs.com/yinzhengjie/articles/11019525.html

1>.点击“所有主机”

2>.点击"向集群添加新主机"

3>.进入"添加主机向导"

4>.为CDH集群安装指定主机

5>.等待主机激活完毕后，点击"继续"

6>.点击继续

7>. 选择咱们之前创建的主机模板（您选中的模板有对应的角色，而新加入的节点将来就会继承该主机模板的角色）

8>.等待集群重启完毕

9>.主机扩展成功（需要注意的是，如果在第7步骤没有选择对应的主机模板也没事，只要agent成功加入集群后，我们选中相应的节点并点击下图的"已选定操作"，选择"应用主机模板"选项就有对应的你之前创建的模板供你选择，选择主机模板后别忘记顺便勾选"应用主机模板后部署客户端配置并启动新创建的角色。"属性）

四.移除CDH集群的节点

1>.点击"主机"，选择"所有主机"

2>.勾选需要下线的主机

3>.我们点击"已选定的操作"（英文为"Actions for Selected "），选择"Begin Maintenance"(表示进入维护模式，进入维护模式会听到该主机的服务)

4>.点击"Begin Maintenance"

5>.主机进行授权命令

6>.主机进入维护模式，我们需要手动停掉agent进程

7>.选择从集群中删除

8>.点击确认

9>.删除主机上的角色（等待时间较长）

10>.角色移除成功

11>.点击"Remove From Cloudera Manager"

12>.点击"确认"

13>.节点移除成功

14>.对于 CM Manager 来说，它会把主机元数据全部存放在数据库里，对应的表为"${DATABASE}.HOSTS"（如果你不想从Cloudera Manager WebUI来删除，那咱们就可以考虑直接去数据库干掉他！但是相对来说比较危险，万一你不小心删除错主机就比较尴尬啦~）

mysql> SELECT * FROM HOSTS\G
*************************** 1. row ***************************HOST_ID: 2
OPTIMISTIC_LOCK_VERSION: 14HOST_IDENTIFIER: 5411b2de-f7e8-45de-bde3-6d8aedfed4d5NAME: node101.yinzhengjie.org.cnIP_ADDRESS: 172.30.1.101RACK_ID: /defaultSTATUS: NACONFIG_CONTAINER_ID: 1MAINTENANCE_COUNT: 0DECOMMISSION_COUNT: 0CLUSTER_ID: 1NUM_CORES: 4TOTAL_PHYS_MEM_BYTES: 8182054912PUBLIC_NAME: NULLPUBLIC_IP_ADDRESS: NULLCLOUD_PROVIDER: NULL
*************************** 2. row ***************************HOST_ID: 3
OPTIMISTIC_LOCK_VERSION: 13HOST_IDENTIFIER: 0a4853a0-7adc-4dae-a1da-3a12636f3574NAME: node103.yinzhengjie.org.cnIP_ADDRESS: 172.30.1.103RACK_ID: /defaultSTATUS: NACONFIG_CONTAINER_ID: 1MAINTENANCE_COUNT: 0DECOMMISSION_COUNT: 0CLUSTER_ID: 1NUM_CORES: 4TOTAL_PHYS_MEM_BYTES: 3954196480PUBLIC_NAME: NULLPUBLIC_IP_ADDRESS: NULLCLOUD_PROVIDER: NULL
*************************** 3. row ***************************HOST_ID: 4
OPTIMISTIC_LOCK_VERSION: 13HOST_IDENTIFIER: b613ff6e-6890-447a-a161-7f5324a14143NAME: node102.yinzhengjie.org.cnIP_ADDRESS: 172.30.1.102RACK_ID: /defaultSTATUS: NACONFIG_CONTAINER_ID: 1MAINTENANCE_COUNT: 0DECOMMISSION_COUNT: 0CLUSTER_ID: 1NUM_CORES: 4TOTAL_PHYS_MEM_BYTES: 3954196480PUBLIC_NAME: NULLPUBLIC_IP_ADDRESS: NULLCLOUD_PROVIDER: NULL
*************************** 4. row ***************************HOST_ID: 5
OPTIMISTIC_LOCK_VERSION: 13HOST_IDENTIFIER: f58247ff-4d3f-40d3-8f49-8f91f45d4407NAME: node104.yinzhengjie.org.cnIP_ADDRESS: 172.30.1.104RACK_ID: /defaultSTATUS: NACONFIG_CONTAINER_ID: 1MAINTENANCE_COUNT: 0DECOMMISSION_COUNT: 0CLUSTER_ID: 1NUM_CORES: 4TOTAL_PHYS_MEM_BYTES: 3954196480PUBLIC_NAME: NULLPUBLIC_IP_ADDRESS: NULLCLOUD_PROVIDER: NULL
4 rows in set (0.00 sec)mysql>

mysql> SELECT * FROM HOSTS\G

五.

转载于:https://www.cnblogs.com/yinzhengjie/p/10992006.html

Cloudera Certified Associate Administrator案例之Install篇相关推荐

oracle 10.2.0.1 升级 10.2.0.5,Oracle10.2.0.1RAC 升级 Oracle10.2.0.5案例分享 -DATABASE篇
接上一篇 Oracle10.2.0.1RAC 升级 Oracle10.2.0.5案例分享 -CRS篇 http://blog.itpub.net/29047826/viewspace-1263381/ ...
阿里云云计算工程师ACA认证（Alibaba Cloud Certified Associate - Cloud Computing）考试大纲-V3.0
阿里云云计算工程师ACA认证(Alibaba Cloud Certified Associate - Cloud Computing)介绍: 阿里云云计算工程师ACA认证(Alibaba Cloud ...
30个HTML+CSS前端开发案例（完结篇）
30个HTML+CSS前端开发案例(完结篇) flex弹性布局-今日头条首页热门视频栏代码实现效果 flex弹性布局-微博热搜榜单代码实现效果 grid网格布局-360图片展示代码实现效果 ...
Axure 9 案例教程进阶篇之课程简介（带你玩转高交互设计）
前言在Axure 9 实战案例专栏基础篇中 (了解更多>>),我们讲解了基本元件.动态面板.交互事件与母版等4章实战案例,相信学习过的同学,实战能力提高不少了吧:那么在进阶篇中,我们将主 ...
数字孪生实际应用案例-智慧园区篇
案例一:园区综合治理孪生管理平台整个园区的能耗情况.环保监测.照明情况.安防情况等,都可以通过BYTEV平台展示,实现园区运行安全"一屏通览".园区综合治理"一网统管& ...
java中的基本小程序_12个用Java编写基础小程序经典案例（收藏篇）
原标题:12个用Java编写基础小程序&经典案例(收藏篇) 如果是刚接触或者刚学习java,练习一些基础的算法还是必须的,可以提升思维和语法的使用. 1.输出两个int数中的最大值 impor ...
XGBoost线性回归工控数据分析实践案例（原生篇）
1. 关于XGBoost XGBoost号称"比赛夺冠的必备大杀器",横扫机器学习Kaggle.天池.DataCastle.Kesci等国内外数据竞赛罕逢敌手,堪称机器学习算法中的 ...
Airtest自动化测试实操案例 | iOS应用篇
前言上一篇推送我们聊到了Windows应用的实操案例,而今天我们想跟大家聊一聊 iOS设备的实操案例 .因为之前很多同学都反馈说,官方教程里面,绝大多数都是安卓设备的实操,Windows应用和iOS ...
Android多功能时钟源代码,Android多功能时钟开发案例（实战篇）
上一篇为大家介绍的是Android多功能时钟开发基础内容,大家可以回顾一下,Android多功能时钟开发案例(基础篇) 接下来进入实战,快点来学习吧. 一.时钟在布局文件中我们看到,界面上只有一个T ...

Cloudera Certified Associate Administrator案例之Install篇

Cloudera Certified Associate Administrator案例之Install篇相关推荐

最新文章

热门文章