HDFS异常：last block does not have enough number of replicas

【问题解决办法】

可以通过调整参数dfs.client.block.write.locateFollowingBlock.retries的值来增加retry的次数，可以将值设置为6，那么中间睡眠等待的时间为400ms、800ms、1600ms、3200ms、6400ms、12800ms，也就是说close函数最多要50.8秒才能返回。

中软不建议修改该参数：

但是该dfs.client.block.write.locateFollowingBlock.retries 在开源配置中不开放，调整参数也只能规避问题，若CPU负荷很大的情况，依然会存在该问题。

建议降低任务并发量或者控制cpu使用率来减轻网络的传输，使得DN能顺利向NN汇报block情况。

问题结论：

减轻系统负载。集群发生的时候负载很重，CPU的32个核（100%）全部分配跑MR认为了，至少要留20%的CPU

HDFS异常：last block does not have enough number of replicas相关推荐

＜转载＞Presto对接华为HDFS 3.X，Unrecognized Hadoop major version number解决方案
简介这篇文章主要介绍了Presto对接华为HDFS 3.X,Unrecognized Hadoop major version number解决方案以及相关的经验技巧,文章约15691字,浏览量5 ...
HDFS 概念之 block 详解
一般情况下,任何磁盘都有'最小读写单位'的概念,可以理解为该磁盘的'block'.建立在该磁盘之上的文件系统也有'block'的概念,一般为磁盘'block'大小的整数倍.对于用户来说,这些读写限制都 ...
flume sink hdfs异常
1.异常消息如下: 016-08-26 14:19:17,704 (hdfs-sink1-call-runner-2) [ERROR - org.apache.flume.sink.hdfs.Abst ...
hdfs中一个block块默认多大？
版本不同,默认大小不同.64M.128M都正确. 在Apache Hadoop中默认是64M,Cloudera Hadoop版本中默认是128M.
11.2.0.4,ASM实例异常宕机,ORA-29740: evicted by instance number 2
一.环境背景 oracle 11.2.0.4 + RAC + RedHat5.8 二.故障描述 ASM实例异常宕机,报错信息如下: Sun Sep 14 20:27:13 2014 IPC Send ...
唯品会HDFS性能挑战和优化实践
本文以唯品会HDFS实际应用场景和问题导向触发,介绍了优化方案的局限性,分享了这些局限性的解决和实施经验.这对于技术运营较大规模的HDFS集群有一定借鉴意义. 1. 性能挑战 HDFS 是一个分布式系 ...
日跑几十万作业，唯品会HDFS是如何优化的
本文以唯品会HDFS实际应用场景和问题导向触发,介绍了优化方案的局限性,分享了这些局限性的解决和实施经验.这对于技术运营较大规模的HDFS集群有一定借鉴意义. 性能挑战 01 HDFS 是一个分布式系 ...
ambari hdfs 启动报错_HDFS 运维常见问题处理
腾讯游戏CROS体系的DBA维护着多套互娱数据平台的核心HDFS集群,积累了不少维护经验. 1. 定期block全盘扫描,引起dn心跳超时而脱离集群 hdfs有一个目录扫描机制,默认6小时会全盘扫描一 ...
唯品会 1000+ 台 Hadoop 集群优化经验
性能挑战 01 HDFS 是一个分布式系统,只要有足够的资源,可以扩容上千个节点支持100PB以上的集群.我们发现Hadoop集群升级(2.5.0-cdh5.3.2-->2.6.0-cdh5.1 ...

HDFS异常：last block does not have enough number of replicas

HDFS异常：last block does not have enough number of replicas

HDFS异常：last block does not have enough number of replicas相关推荐

最新文章

热门文章