HDFS的机架感知（rack aware）

机架感知

保证在交换机故障或者集群内部时间问题出现时，数据仍然可用。hadoop的rack aware是逻辑上的概念，与真实的机架只存在概念上的对应关系。

编写一个脚本或者实现接口org.apache.hadoop.net.DNSToSwitchMapping

节点机架表示形如：“/a/b/c”。“/a/b/a”与“/a/b/c”的路径前缀相同所以节点a和节点c在同一个机架上。默认机架为“/default-rack”（topology.script.file.name或topology.node.switch.mapping.impl均未设置）。

自定义机架感知类

hadoop的类路径：

hdfs classpath
或者
hadoop classpath

机架感知实现类

public class MyDNSToSwitchMapping implements DNSToSwitchMapping｛//解析主机名或IP地址，返回网络路径/a/bpublic List<String> resolve(List<String> names){List<String> paths=new ArrayList<>();if(names != null && !names.isEmpty()){System.out.println(names.size() + " : " + names.get(0));for(String hostname : names){Integer no=Integer.parseInt(hostname.substring(1));String rackPath="";if(no<=400){rackPath="/rack1/" + hostname;}else{rackPath="/rack2/" + hostname;}paths.add(rackPath);}}return paths;}public void reloadCacheMappings(){// 无}public void reloadCacheMappings(List<String> names){// 无}
｝

将打成的jar包分发到所有节点的以下目录中

${HADOOP_HOME}/share/**
一般可以放在这
${HADOOP_HOME}/share/hadoop/common/lib/

可以在eclipse中右击项目通过Export导出jar包（默认配置即可）。

配置自定义机架感知类——指定类名topology.node.switch.mapping.impl

配置core-site.xml

<property><name>net.topology.node.switch.mapping.impl</name><value>com.bee.MyDNSToSwitchMapping</value>
</property>

分发core-site.xml重启集群
大吞吐量集群拷贝
通过hadoop的mapreduce实现的并行，可以递归复制文件夹。

# 本集群拷贝
hadoop distcp /usr/bee/data /usr/bee/foo
# 跨集群拷贝
hadoop distcp hdfs://node02:8020/user/data hdfs://192.168.31.54:8020/user/tmp

HDFS的机架感知（rack aware）相关推荐

Hadoop HDFS实现机架感知
机架感知是什么? 告诉hadoop集群中的服务器节点属于哪个机柜实现我的hadoop解压目录是 /export/servers/hadoop-2.6.0-cdh5.14.0 1.在hadoop解压 ...
大数据之-Hadoop之HDFS的API操作_机架感知_副本存储的节点的选择---大数据之hadoop工作笔记0068
然后我们再来看一下,这个,hadoop的hdfs的机架感知,如何为某个上传的文件,这里如果是默认是,3个副本的话, 比如有1000台datanode,那么hadoop如何为这个3个副本选择合适的节点, ...
HDFS机架感知功能原理（rack awareness）
HDFS NameNode对文件块复制相关所有事物负责,它周期性接受来自于DataNode的HeartBeat和BlockReport信息,HDFS文件块副本的放置对于系统整体的可靠性和性能有关键性影 ...
HDFS副本放置策略和机架感知
副本放置策略的副本放置策略的基本思想是: 第一block在复制和client哪里node于(假设client它不是群集的范围内,则这第一个node是随机选取的.当然系统会尝试不选择哪些太满或者太忙的 ...
HDFS机架感知概念及配置实现
一.机架感知是什么? 告诉 Hadoop 集群中哪台机器属于哪个机架二.那么怎么告诉呢? Hadoop 对机架的感知并非是自适应的,亦即,hadoop 集群分辨某台 slave 机器是属于哪个 r ...
提到HDFS就会想到机架感知，那么机架感知你真的知道是什么吗？
写在前面本文隶属于专栏<1000个问题搞定大数据技术体系>,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢! 本专栏目录结构和文献引用请见1000个问题搞定大数 ...
HDFS 集群的机架感知
HDFS 集群的机架感知 1.背景 1.1.Hadoop 的设计目的 1.2.Hadoop 的设计考虑 1.3.副本存放策略 2.配置机架感知 2.1.修改配置文件 core-site.xml 2.2 ...
Hadoop机架感知与balancer
版本:Apache Hadoop 1.0.3 Hadoop集群节点通常会跨很多个机架,增加节点的情况时有发生,而且很多时候节点的磁盘容量还不统一,有大有小,所以集群节点非常容易出现磁盘利用不平衡的情况 ...
Hadoop机架感知
背景分布式的集群通常包含非常多的机器,由于受到机架槽位和交换机网口的限制,通常大型的分布式集群都会跨好几个机架,由多个机架上的机器共同组成一个分布式集群.机架内的机器之间的网络速度通常都会高于跨机架 ...
Hadoop配置机架感知(python脚本)
昨天QQ群里提了一个hadoop运行效率分配的问题,总结一下,写个文章.集群使用hadoop-1.0.3 有些hadoop集群在运行的时候,不完全是绝对平均的分配,不过需要尽可能平均的分配任务,避免某 ...

HDFS的机架感知（rack aware）

HDFS的机架感知（rack aware）相关推荐

最新文章

热门文章