大数据集群扩容机架分配

由于生产上大数据集群时常会扩容，而每次扩容完成后需要对新扩容的主机进行机架分配，涉及主机数量比较多时，通过手工分配耗时较长，因此编写如下脚本进行机架分配。

第一部分：获取集群主机ID/IP地址/机架号

#其中的v18根据http://IP:7180/api/version来查看

curl -u '用户名:密码' 'http://IP:7180/api/v18/hosts'|python -c'

import json;

import sys;

obj=json.load(sys.stdin);

for x in obj["items"]:

print x["hostId"],x["ipAddress"],x["rackId"]

'> rack.out

二、vi编辑rack.out文件，将主机的rack号调整为希望配置的rack号，并将多余的主机信息删除

例如，rack.out的输出为：

658278db-09f0-4173-8457-1a20bf7b420c IP /default

改为期望值：

658278db-09f0-4173-8457-1a20bf7b420c IP /rack7

三、根据主机ID修改机架号

while read hostId ipAddress rackId

echo $hostId $ipAddress $rackId

curl -X PUT -u '用户名:密码' --header 'Content-Type: application/json' --header 'Accept: application/json' -d \

\"rackId\":\"${rackId}\"

}" http://IP/api/v18/hosts/${hostId}

done < rack.out

大数据集群扩容机架分配相关推荐

同程旅行大数据集群在 Kubernetes 上的服务化实践
本文将向大家介绍同程旅行大数据集群在 Kubernetes 上服务化建设的一些实践和经验. 同程旅行大数据集群从 2017 年开始容器化改造,经历了自研调度 Docker 容器 ,到现在的云舱平台,采 ...
PPTV之大数据集群容器化研究
本文讲的是PPTV之大数据集群容器化研究[编者的话]如何统一调度两个集群的物理资源,有效节约成本? 背景 PPTV作为国内视频领域的领先者,对于大规模流媒体的存储.处理.分发及应用,有着迫切的要求.容 ...
【大数据集群搭建-Apache】Apache版本进行大数据集群各组件环境部署
[大数据集群搭建-Apache]Apache版本进行大数据集群各组件环境部署 1)大数据环境统一 1.1.设置主机名和域名映射 1.2.关闭服务器防火墙和Selinux 1.3.服务器免密登陆 1.4 ...
数据蒋堂 | 大数据集群该不该透明化？
作者:蒋步星来源:数据蒋堂本文约1500字,建议阅读5分钟. 通过本文为大家解读大数据集群透明化的利弊! 这好像是个多余的问题,大部分大数据平台都把集群透明化作为一个基本目标在努力实现. 所谓集群 ...
大数据集群跨多版本升级、业务0中断，只因背后有TA
摘要:2021年4月21日,中国太平洋保险集团联合华为云完成了全球首例大数据集群跨多版本的大数据集群滚动升级. 本文分享自华为云社区<华为云FusionInsight助力太保跨多版本升级业务0中 ...
克服大数据集群的挑战
克服大数据集群的挑战数据存储曾经是大数据的最大挑战.由于云计算基础设施的进步,存储数据不再是关键问题.如今,数据科学家所面临的最大问题是数据收集. 集群化使得大数据分析更容易.然而,集群也给数据工程 ...
python自动化部署hadoop集群_大数据集群的自动化运维实现思路
原标题:大数据集群的自动化运维实现思路 | 作者简介王晓伟知数堂<大数据实战就业>课程讲师六年大数据相关工作经验清华大学软件工程硕士曾就职于网易.搜狗等互联网企业从事大数据及数 ...
一篇运维老司机的大数据平台监控宝典(1)-联通大数据集群平台监控体系进程详解
一篇运维老司机的大数据平台监控宝典(1)-联通大数据集群平台监控体系进程详解 "如果你是一个经验丰富的运维开发人员,那么你一定知道ganglia.nagios.zabbix.elastics ...
大数据集群搭建全部过程（Vmware虚拟机、hadoop、zookeeper、hive、flume、hbase、spark、yarn）
大数据集群搭建进度及问题总结所有资料在评论区那里可以得到第一章: 1.网关配置(参照文档) 注意事项:第一台虚拟机改了,改为centos 101 ,地址为192.168.181.130 网关依然是 ...

大数据集群扩容机架分配

大数据集群扩容机架分配相关推荐

最新文章

热门文章