Number of Under-Replicated Blocks问题

跑了一个mapreduce发现集群上出现了7个Under-Replicated Blocks，在web页面上能看到，在主节点上执行：

$ bin/hadoop fsck -blocks

删除导致问题的文件之后就好了。

导致这个问题可能有俩个原因

1. 可能我们默认得block副本因子是3，但是我们的datanode节点只有俩2个或者是1个这个时候就会出现这个有报错

2. 我们mapperReduce，默认提交作业的副本是10，但是我们的datanode节点没有那么多，这个时候也会出现这个错误

这错误对集群运行没有太大的影响

第一类的解决问题：

$ hadoop fs -setrep -R 1 /

update your hdfs-site.xml file property

dfs.replication=1

第二类的解决问题：

修改mapper-site中的这个属性，它默认是10 ，我们可以给到3

mapreduce.client.submit.file.replication

bash$ hdfs fsck / | grep 'Under replicated' | awk -F':' '{print $1}'

用这个命令可以查看我们under replic block具体的文件

#Set replication
bash$ hadoop fs -setrep 3 /file_name

给flie_name 分配副本

Number of Under-Replicated Blocks问题相关推荐

under replicated blocks 解决办法
ambari 监控页面显示under replicated blocks 显示红色.查了一下发现可以用hadoop fs 的 setrep命令解决这个问题. 下面是运行 hadoop fs -help ...
CDH 报错：under replicated blocks
1.刚安装好CDH5.16.1集群(2个节点)出现了under replicated blocks错误,如下图 2.原因是CDH默认文件备份3份,而我们只有2节点,所以解决方法如下: ①集群增加一个新 ...
HDFS under replicated blocks
under replicated blocks 解决: 找出没有复制的block: hdfs fsck / | grep 'Under replicated' | awk -F':' '{print ...
HDFS missing blocks的处理办法
Hadoop集群中遇到了HDFS missing blocks的错误,处理办法如下: 切换到hdfs用户 su - hdfs 使用hadoop fsck命令检查坏的块 hadoop fsck / 输出 ...
NUC1776 Tiling Up Blocks【二维最长上升子序列+DP】
Tiling Up Blocks 时间限制: 1000ms 内存限制: 10000KB 通过次数: 2总提交次数: 2 问题描述 Michael The Kid receives an interes ...
Scratch Blocks自定义组件之「点阵」
一.背景由于scratch blocks 自带的mictobit点阵只支持5*5,有时候并不满足我们自己的硬件,为此设计了N*M点阵Block,效果如下: 二.功能配置说明支持N行M列点阵支持保 ...
hadoop学习笔记（一）RemoteException:could only be replicated to 0 nodes instead of minReplication (=1)
最近在学习hadoop的使用从开始使用到现在一直都没出现过这种报错只是想要在hadoop上新建一个文件夹就报错name node is in safe mode 属实给我整懵逼了我以为是我的集群 ...
Alluxio HA 写入文件失败
Alluxio HA环境,今天发生,用户无法写入文件的情况. 创建文件夹,是正常的.但是最后copyFromLocal 文件的时候,就没有任何反应.最后可以看到这个新建的文件.但是文件size是0. ...
hadoop块的存储方式
hadoop上默认块的大小为64M 当文件小于64M时,以一个block计算,在实际的文件系统中,仅占原始文件的大小,外加一个.meta文件例如: 中等文件,40M [root@ungeo12 cu ...
hive 集群初探，查询比较
在slave3安装MySQL作为hive 的matastore [root@slave3 hadoop]# yum search mysql [root@slave3 hadoop]# yum ins ...

Number of Under-Replicated Blocks问题

Number of Under-Replicated Blocks问题相关推荐

最新文章

热门文章