配置机架感知

core-site.xml

cat $HADOOP_HOME/etc/hadoop/core-site.xml

<name>net.topology.script.file.name</name>

<value>pathdir/RackAware.py</value>

</property>

RackAware.py

cat etc/hadoop/RackAware.py

#!/usr/bin/python

#-*-coding:UTF-8 -*-

import sys

rack = {"bs022.zx.nicx.cn":"rack1",

"bs035.zx.nicx.cn":"rack2",

"bs038.zx.nicx.cn":"rack2",

"bs042.zx.nicx.cn":"rack3",

"192.168.1.22":"rack1",

"192.168.1.35":"rack2",

"192.168.1.38":"rack2",

"192.168.1.42":"rack3",

}

if __name__=="__main__":

print "/" + rack.get(sys.argv[1])

机架感知验证

bin/hdfs dfsadmin -printTopology

Rack: /rack1

192.168.1.22:50010 (bs022.zx.nicx.cn)

Rack: /rack2

192.168.1.35:50010 (bs035.zx.nicx.cn)

192.168.1.38:50010 (bs038.zx.nicx.cn)

Rack: /rack3

192.168.1.42:50010 (bs042.zx.nicx.cn)

机架感知配置完成

注：

在python脚本中配置的时候，需要兼容主机名和IP地址

RackAware.py需要有可执行权限

Namenode的日志中含有：

2016-07-04 14:42:22,198 INFO org.apache.hadoop.net.NetworkTopology: Adding a new node: /rack0/218.241.108.38:50010
……
2016-07-04 14:42:22,232 INFO org.apache.hadoop.net.NetworkTopology: Adding a new node: /rack0/218.241.108.35:50010
……
2016-07-04 14:42:22,263 INFO org.apache.hadoop.net.NetworkTopology: Adding a new node: /rack0/218.241.108.42:50010
……
2016-07-04 14:42:22,295 INFO org.apache.hadoop.net.NetworkTopology: Adding a new node: /rack0/218.241.108.22:50010
……
2016-07-04 14:42:52,503 INFO org.apache.hadoop.hdfs.StateChange: STATE* Network topology has 1 racks and 4 datanodes

Hadoop配置机架感知相关推荐

Hadoop配置机架感知(python脚本)
昨天QQ群里提了一个hadoop运行效率分配的问题,总结一下,写个文章.集群使用hadoop-1.0.3 有些hadoop集群在运行的时候,不完全是绝对平均的分配,不过需要尽可能平均的分配任务,避免某 ...
hadoop 配置机架感知
假如设备链接层次分3层,第一层交换机d1下面连多个交换机rk1,rk2,rk3,rk4,-. 每个交换机对应一个机架. d1(rk1(hs11,hs12,-),rk2(hs21,hs22,-), rk ...
Hadoop之——机架感知配置
转载请注明出处:http://blog.csdn.net/l1028386804/article/details/51935169 1.背景 Hadoop在设计时考虑到数据的安全与高效,数据文件默认在 ...
Hadoop之机架感知
在分布式集群下,由于机架的的槽位和交换机网口数量的限制,使得集群上的机器不得不跨越机架,通常一个大型的集群会跨越很多机架.一般情况机架内机器的通讯会快于跨机架机器之间的通讯,并且机架之间机器的网络通信 ...
Hadoop机架感知配置及配置问题解决
Hadoop在搭建集群的时候,集群的网络拓扑都是默认在同一个机架下的.以/default-rack为一个机架,如下格式. Rack: /default-rack 192.168.71.100:5001 ...
Hadoop机架感知与balancer
版本:Apache Hadoop 1.0.3 Hadoop集群节点通常会跨很多个机架,增加节点的情况时有发生,而且很多时候节点的磁盘容量还不统一,有大有小,所以集群节点非常容易出现磁盘利用不平衡的情况 ...
Hadoop机架感知
背景分布式的集群通常包含非常多的机器,由于受到机架槽位和交换机网口的限制,通常大型的分布式集群都会跨好几个机架,由多个机架上的机器共同组成一个分布式集群.机架内的机器之间的网络速度通常都会高于跨机架 ...
HDFS机架感知概念及配置实现
一.机架感知是什么? 告诉 Hadoop 集群中哪台机器属于哪个机架二.那么怎么告诉呢? Hadoop 对机架的感知并非是自适应的,亦即,hadoop 集群分辨某台 slave 机器是属于哪个 r ...
hadoop之 hadoop 机架感知
1.背景 Hadoop在设计时考虑到数据的安全与高效,数据文件默认在HDFS上存放三份,存储策略为本地一份,同机架内其它某一节点上一份,不同机架的某一节点上一份.这样如果本地数据损坏,节点可以从同一机 ...

Hadoop配置机架感知

配置机架感知

core-site.xml

RackAware.py

机架感知验证

Hadoop配置机架感知相关推荐

最新文章

热门文章