hdfs missing blocks corrupt blocks

环境：

CDH集群

问题描述：

Cloudera Manager 监控HDFS爆红

Canary 测试无法为 /tmp/.cloudera_health_monitoring_canary_files 创建父目录

Missing blocks

Currupt blocks

解决方案：

以上问题描述都是hdfs丢失块或者块损坏造成，当hdfs丢失块时，hdfs会进去安全模式，只能进行查询操作，不能进行修改操作，Canary测试自然无法创建父目录。

块丢失的话，如果数据不是很重要，就可以删除相关数据，消除报警。

1、首先关闭hdfs安全模式，相关命令如下：

hdfs dfsadmin -safemode get 获取安全模式的状态

hdfs dfsadmin -safemode leave 强行关闭安全模式

2、查看丢失的块，相关命令如下：

hdfs fsck / 查看丢失的块以及损坏的块

3、删除相关的数据

hdfs fsck -delete {block}

如果报fsck failed，可以直接删除相关文件

hdfs dfs -rm file

4、重启HDFS服务

hdfs missing blocks corrupt blocks相关推荐

Fix Corrupt Blocks on HDFS
来自:http://centoshowtos.org/hadoop/fix-corrupt-blocks-on-hdfs/ How do I know if my hadoop hdfs filesy ...
HDFS missing blocks的处理办法
Hadoop集群中遇到了HDFS missing blocks的错误,处理办法如下: 切换到hdfs用户 su - hdfs 使用hadoop fsck命令检查坏的块 hadoop fsck / 输出 ...
ORA-19566 exceeded limit of 0 corrupt blocks数据坏块处理
问题描述 RMAN备份失败,报错如下: channel ch1: starting piece 1 at 02-NOV-12 released channel: ch1 RMAN-00571: RMA ...
HDFS Corrupt blocks 解决方法
查看修复HDFS中损坏的块检测缺失块 1 hdfs fsck -list-corruptfileblocks 1 hdfs fsck / | egrep -v '^\.+$' | grep -v e ...
How to fix corrupt HDFS FIles
1 问题描述 HDFS在机器断电或意外崩溃的情况下,有可能出现正在写的数据(例如保存在DataNode内存的数据等)丢失的问题.再次重启HDFS后,发现hdfs无法启动,查看日志后发现,一直处于安全模 ...
HDFS NameNode fsimage文件corrupt了，怎么办
文章目录前言 NameNode fsimage corrupt场景 NameNode fsimage corrupt解决办法 NN fsimage corrupt的重现行为 NameNode的tra ...
【TensorFlow_Fold】深度探究 Blocks for Input
0x00 前言想写点东西试试,结果输入就死活搞不定,一万个TypeError: 决定学跑之前先学爬,老老实实啃一下源码和官方文档,虽然官方还在一点点更新,不少地方还是空白的,不过先动起来多敲点试试看 ...
翻译: Oralce官方文档-- Data Blocks, Extents, and Segments
Data Blocks, Extents, and Segments ...
Enterprise Blocks
我在Visual Studio .NET Web Control for Business Intelligence 中介绍的一个BI工具.支持DNN和SPS,太有心了!找到一篇中文介绍文章. Ent ...

hdfs missing blocks corrupt blocks

hdfs missing blocks corrupt blocks相关推荐

最新文章

热门文章