hadoop无法退出安全模式
hadoop无法退出安全模式,报"name node is in safe mode"错误提示。
集群安全模式
集群处于安全模式,不能执行重要操作(写操作)。集群启动完成后,自动退出安全模式。
基本语法:
(1)bin/hdfs dfsadmin -safemode get (功能描述:查看安全模式状态)
(2)bin/hdfs dfsadmin -safemode enter (功能描述:进入安全模式状态)
(3)bin/hdfs dfsadmin -safemode leave (功能描述:离开安全模式状态)
(4)bin/hdfs dfsadmin -safemode wait (功能描述:等待安全模式状态)
原因分析
一、查看是否是数据损坏导致的
非正常关闭hadoop集群,如直接关闭虚拟机,导致hdfs中有些块丢失了或者损坏。这时hadoop就会进入安全模式。
发生这种情况:要先手动退出安全模式,再处理坏的数据块。
1、退出安全模式:
第一种:正常退出安全模式
hdfs dfsadmin -safemode leave
如提示Safe mode is OFF,那就说明退出成功,但有时候这个命令也没办法退出安全模式,就需要使用强制退出。
第二种:强制退出安全模式
hdfs dfsadmin -safemode forceExit
2、处理坏的数据块:
方法一、直接删除坏的数据块
方法二、修复坏的数据块
① 检测路径下是否有坏块:
bin/hdfs fsck /
② 删除路径下的坏块:
bin/hdfs fsck / -delete
③ 修复坏块:
hdfs debug recoverLease -path / -retries 5
###retries 为重试次数
########Corrupt blocks表示坏掉的块
④ 坏的数据块:
/vul/file/old/9/file: MISSING 1 blocks of total size 10315 B.Status: CORRUPT
Total size: 596245766 B
Total dirs: 570
Total files: 758
Total symlinks: 0
Total blocks (validated): 660 (avg. block size 903402 B)
UNDER MIN REPL’D BLOCKS: 660 (100.0 %)
dfs.namenode.replication.min: 1
CORRUPT FILES: 660
MISSING BLOCKS: 660
MISSING SIZE: 596245766 B
CORRUPT BLOCKS: 660
Minimally replicated blocks: 0 (0.0 %)
Over-replicated blocks: 0 (0.0 %)
Under-replicated blocks: 0 (0.0 %)
Mis-replicated blocks: 0 (0.0 %)
Default replication factor: 2
Average block replication: 0.0
Corrupt blocks: 660
Missing replicas: 0
Number of data-nodes: 1
Number of racks: 1
FSCK ended at Tue Dec 31 10:02:48 CST 2019 in 2844 milliseconds
The filesystem under path ‘/’ is CORRUPT
———————————————————
二、查看集群空间的使用情况
用 df -h命令查看集群空间的使用情况
df -h
发现:磁盘被占用100%,空间被占用。
当硬盘使用超过90%时,namenode就会进入安全模式,强制退出也不行。
发生这种情况:
1、检查并杀死无用进程,释放资源
① 在 /opt 目录下执行 lsof |grep delete 查看对应的进程号,使用 kill -9 进程号,杀掉对应进程即可;
② ps -a (或使用top命令)查看所有进程,使用 kill -9 进程号,杀掉无用进程。
2、删除硬盘中的某些文件,释放空间
3、对硬盘进行扩容
hadoop无法退出安全模式相关推荐
- hadoop进入退出安全模式
查看状态 bin/hdfs dfsadmin -safemode get 进入安全模式 [root@master hadoop]# bin/hdfs dfsadmin -safemode enter ...
- Hadoop 如何退出安全模式
在name node 上运行如下命令 hadoop dfsadmin -safemode leave
- Hadoop退出安全模式
Hadoop退出安全模式 hadoop为了防止数据丢失,启动了"安全模式"的设置,每次启动hadoop后一段时间内集群处于安全模式,该模式下集群会检查各节点文件块的记录,如果数据块 ...
- hadoop中namenode退出安全模式
为什么NameNode会处于安全模式? 1.NameNode发现集群中DataNode丢失达到一定比例(0.01%)时会进入安全模式,此时只允许查看数据不允许对数据进行任何操作. 2.HDFS集群即使 ...
- hdfs通过接口退出安全模式_Hadoop之HDFS简介
奇技指南HDFS作为运行在通用硬件上的分布式文件系统,和现有的分布式文件系统既有很多的共同点,也存在很多的差异.本文从HDFS是什么开始介绍,包括了HDFS架构.HDFS的读写.各个组件的作用.具体操 ...
- 解决Hadoop总是处于安全模式的问题
文章目录 一.提出问题 二.解决问题 (一)检查hadoop是否健康 (二)利用Hadoop WebUI查看有问题的块 (三)强制删除有问题的块 (四)再次查看Hadoop的健康状况 (五)手动退出安 ...
- Hadoop开启Kerberos安全模式
Hadoop开启Kerberos安全模式, 基于已经安装好的Hadoop的2.7.1环境, 在此基础上开启Kerberos安全模式. 1.安装规划 已经安装好Hadoop的环境 10.43.159.7 ...
- 苹果计算机开机进入安全模式,iphone进入安全模式及退出安全模式的方法
放眼现在使用手机的用户来说, 苹果 是非常受欢迎的一个品牌,然而许多朋友对苹果手机自带的某些功能并不十分了解,其中,安全模式就是一种十分容易让人忽略的模式,那么,苹果安全模式什么,它又是该如何进入和退 ...
- win7安全模式如何打开计算机管理,Win7怎么退出安全模式 win7系统退出安全模式的方法...
安全模式是Windows操作系统中的一种特殊模式,在安全模式下用户可以轻松的修复系统的错误,也可以删除顽固文件.查杀病毒等,只要开机按F8就可以进入了,然而有些win7系统进入安全模式之后,却不知道如 ...
最新文章
- 为什么分布式一定要有消息队列?
- 乐刷科技-Java工程师社招面试
- ES6系列--对象扩展
- Servlet中使用RequestDispatcher调派请求--include
- mysql中如何卸载插件_Eclipse中如何卸载插件
- 斐波那契数列的性质整理
- BeginnersBook MongoDB 教程
- 持续集成部署Jenkins工作笔记0014---curl命令触发构建
- 为什么事业单位公务员的公积金比企业里要缴得多?
- Django 学习笔记之一 环境搭建
- CDH运维常见问题-cloudera-scm-agent 已死,但 pid 文件存在
- js检测浏览器支持的字体
- 工资管理系统的开发设计
- [蓝桥杯][算法提高VIP]盾神与砝码称重
- (一)C 语言之数据类型与变量之间的关系
- java微信开发需具备的条件
- 山东专升本-计算机课堂笔记之第一章 信息技术与计算机文化(一)
- BI 到底是什么,看看这篇文章怎么说
- ajax 一个完整的ajax请求
- 基于卡方的独立性检验
热门文章
- AEC IATF16949 - AEC-Qxxx 质量体系IATF16949 -芯片进入汽车领域的门槛
- 如何剪辑视频,视频画中画制作教程分享
- python tensorflow学习笔记(五)矩阵乘法运算
- 用C#写PMAC的上位机,建立连接的步骤
- E-Training在线学习系统(汉堡王定制版)
- IOS微信分享,或者app内分享微信图片不显示
- wifi 验证加密 总结
- 计算机无法打开pdf文件格式,pdf格式的文件打不开 [电脑打不开pdf格式文件怎么回事]...
- 阿里国际站运营的核心指标是什么?
- 送你一个励志故事(转载)