机架感知

1.什么是机架感知？
Hadoop集群中副本存储节点选择；

2.什么时候会涉及机架感知？
当Hadoop集群规模相当大的情况下，就要考虑机架感知；

3.机架感知需考虑哪些因素？分别说明。
1). 第一个副本选择本地机架，距离近，上传速度快；
2). 第二个副本选择远程机架的随机节点，保证数据的可靠性；
3). 第三个副本选择第二个副本所在机架的随机节点，而不是其他机架，是同时兼顾可靠性+效率；

网络拓扑–节点距离计算

问：在HDFS写数据的过程中，NameNode会选择距离待上传数据最近距离的DataNode接收数据，最近距离如何计算？
答：两个节点到达最近的共同祖先的距离总和。

eg:

如图，5和9的共同祖先为6，所以5到9的距离为：3；

如图，1和5的共同祖先为6，所以他们的距离为4.

hadoop--HDFS_机架感知与网络拓扑节点距离计算相关推荐

Hadoop之——机架感知配置
转载请注明出处:http://blog.csdn.net/l1028386804/article/details/51935169 1.背景 Hadoop在设计时考虑到数据的安全与高效,数据文件默认在 ...
Hadoop之机架感知
在分布式集群下,由于机架的的槽位和交换机网口数量的限制,使得集群上的机器不得不跨越机架,通常一个大型的集群会跨越很多机架.一般情况机架内机器的通讯会快于跨机架机器之间的通讯,并且机架之间机器的网络通信 ...
Hadoop配置机架感知(python脚本)
昨天QQ群里提了一个hadoop运行效率分配的问题,总结一下,写个文章.集群使用hadoop-1.0.3 有些hadoop集群在运行的时候,不完全是绝对平均的分配,不过需要尽可能平均的分配任务,避免某 ...
Hadoop配置机架感知
配置机架感知 core-site.xml cat $HADOOP_HOME/etc/hadoop/core-site.xml <property> <name>net.topo ...
hadoop 配置机架感知
假如设备链接层次分3层,第一层交换机d1下面连多个交换机rk1,rk2,rk3,rk4,-. 每个交换机对应一个机架. d1(rk1(hs11,hs12,-),rk2(hs21,hs22,-), rk ...
Hadoop机架感知
背景分布式的集群通常包含非常多的机器,由于受到机架槽位和交换机网口的限制,通常大型的分布式集群都会跨好几个机架,由多个机架上的机器共同组成一个分布式集群.机架内的机器之间的网络速度通常都会高于跨机架 ...
【转】hadoop机架感知
原文链接 http://www.cnblogs.com/ggjucheng/archive/2013/01/03/2843015.html 背景分布式的集群通常包含非常多的机器,由于受到机架槽位和交 ...
第十三章 hadoop机架感知
背景分布式的集群通常包含非常多的机器,由于受到机架槽位和交换机网口的限制,通常大型的分布式集群都会跨好几个机架,由多个机架上的机器共同组成一个分布式集群.机架内的机器之间的网络速度通常都会高于跨机架 ...
Hadoop机架感知配置及配置问题解决
Hadoop在搭建集群的时候,集群的网络拓扑都是默认在同一个机架下的.以/default-rack为一个机架,如下格式. Rack: /default-rack 192.168.71.100:5001 ...

hadoop--HDFS_机架感知与网络拓扑节点距离计算

目录

机架感知

网络拓扑–节点距离计算

hadoop--HDFS_机架感知与网络拓扑节点距离计算相关推荐

最新文章

热门文章