Hadoop生态圈（六）- HDFS NAMENODE 安全模式
目录
- 前言
- 1. HDFS NAMENODE 安全模式
- 1.1 场景：安全模式探究
- 1.2 安全模式概述
- 1.3 安全模式自动进入离开
- 1.3.1 自动进入时间
- 1.3.2 自动离开条件
- 1.4 安全模式手动进入离开
- 1.4.1 手动获取安全模式状态信息
- 1.4.2 手动进入命令
- 1.4.3 手动离开命令
原文地址：https://program-park.github.io/2022/01/17/hadoop_9/
前言
部分内容摘自尚硅谷、黑马等等培训资料
1. HDFS NAMENODE 安全模式
1.1 场景：安全模式探究
HDFS 集群在停机状态下，使用hdfs –daemon命令逐个进程启动集群，观察现象。
首先启动 namenode：hdfs --daemon start namenode，然后依次执行浏览文件系统和创建文件夹操作，现象如下，发现集群可以查看目录结构但是无法新增目录。
打开 HDFS 集群 web 页面可以发现如下提示：
提示说：已经汇报的数据块的比例没有达到阈值。阈值为总数量块的 0.999。
接下来，启动第一台机器上的 Datanode 进程：hdfs --daemon start datanode，继续查看页面提示信息。
此时执行创建文件夹操作，发现可以创建成功了。
可以发现在安全模式下，我们可以浏览文件系统目录层次结构，但是却无法创建文件夹，安全模式下的文件系统似乎处于一种可读不可下的特殊状态。
1.2 安全模式概述
Hadoop 中的安全模式safe mode是NameNode的维护状态，在此状态下 NameNode 不允许对文件系统进行任何更改，可以接受读数据请求。
在 NameNode 启动过程中，首先会从 fsimage 和 edits 日志文件加载文件系统状态。然后，等待 DataNodes 汇报可用的 block 信息。在此期间，NameNode 保持在安全模式。随着 DataNode 的 block 汇报持续进行，当整个系统达到安全标准时，HDFS 自动离开安全模式。在 NameNode Web 主页上会显示安全模式是打开还是关闭。
如果 HDFS 处于安全模式下，不允许 HDFS 客户端进行任何修改文件的操作，包括上传文件，删除文件，重命名，创建文件夹，修改副本数等操作。
1.3 安全模式自动进入离开
1.3.1 自动进入时间
HDFS 集群启动时，当 NameNode 启动成功之后，此时集群就会自动进入安全模式。
1.3.2 自动离开条件
安全模式相关的配置属性参数都在hdfs-default.xml中定义，如果需要覆盖任何值，请在hdfs-site.xml文件中重新覆盖定义。
dfs.replication- hdfs block 的副本数据，默认 3
dfs.replication.max- 最大块副本数，默认 512
dfs.namenode.replication.min- 最小块副本数，默认 1
dfs.namenode.safemode.threshold-pct- 已汇报可用数据块数量占整体块数量的百分比阈值。默认 0.999f。
小于或等于 0，则表示退出安全模式之前，不要等待特定百分比的块。大于 1 的值将使安全模式永久生效。
- 已汇报可用数据块数量占整体块数量的百分比阈值。默认 0.999f。
dfs.namenode.safemode.min.datanodes- 指在退出安全模式之前必须存活的 DataNode 数量，默认 0
dfs.namenode.safemode.extension- 达到阈值条件后持续扩展的时间。倒计时结束如果依然满足阈值条件，自动离开安全模式。默认 30000 毫秒
1.4 安全模式手动进入离开
1.4.1 手动获取安全模式状态信息
hdfs dfsadmin -safemode get
1.4.2 手动进入命令
hdfs dfsadmin -safemode enter
手动进入安全模式对于集群维护或者升级的时候非常有用，因为这时候 HDFS 上的数据是只读的。
1.4.3 手动离开命令
hdfs dfsadmin -safemode leave
Hadoop生态圈（六）- HDFS NAMENODE 安全模式相关推荐
- 2021-12-30大数据学习日志——Hadoop离线阶段——HDFS
学习目标 理解分布式文件存储的概念与实现 掌握HDFS分块存储.副本机制等特性 学会shell操作HDFS 掌握HDFS读写流程 理解NameNode元数据管理机制 理解SecondaryNameNo ...
- Hadoop生态圈（十六）- HDFS Snapshot快照详解
目录 前言 1. Snapshot快照 1.1 快照介绍和作用 1.1.1 数据恢复 1.1.2 数据备份 1.1.3 数据测试 1.2 HDFS快照的实现 1.3 快照的命令 1.3.1 快照功能启 ...
- hadoop生态圈面试精华之HDFS部分
hadoop生态圈面试精华之HDFS部分 HDFS文件写入和读取流程 也可回答:1)读写原理(流程):2)上传下载流程:3)Hadoop中文件put和get的详细过程:4)讲讲 (介绍下)HDFS:5 ...
- Hadoop：HDFS NameNode内存全景
原文转自:https://tech.meituan.com/namenode.html 感谢原作者 一.概述 从整个HDFS系统架构上看,NameNode是其中最重要.最复杂也是最容易出现问题的地方, ...
- Hadoop生态圈（十三）- Namenode元数据管理及各组件工作机制
目录 前言 1. Namenode元数据管理 1.1 元数据是什么 1.2 元数据管理概述 1.2.1 内存元数据 1.2.2 磁盘元数据 1.2.2.1 fsimage内存镜像文件 1.2.2.2 ...
- hadoop启动报错：Attempting to operate on hdfs namenode as root
解决方案1: 在环境变量中添加如下几个配置: vim /etc/profile 添加 export HDFS_NAMENODE_USER=root export HDFS_DATANODE_USER= ...
- 解决 Hadoop 启动 ERROR: Attempting to operate on hdfs namenode as root 的方法
解决 Hadoop 启动 ERROR: Attempting to operate on hdfs namenode as root 的方法 1.问题 hadoop-3.1.0启动hadoop集群时会 ...
- Hadoop运行踩坑: Attempting to operate on hdfs namenode as root
在sbin目录下执行./start-dfs.sh命令启动Hadoop时,报如下ERROR [root@hadooptest sbin]# ./start-dfs.sh WARNING: HADOOP_ ...
- 大数据运维实战第一课 大话 Hadoop 生态圈
你好,欢迎来到<大数据运维实战>专栏. 入行以来,我从事大数据运维也有十多年了,期间我做过系统运维.DBA,也做过大数据分析师,最后选择了大数据运维方向,曾设计并管理超过千台.PB 级的数 ...
最新文章
- 一文详解基于先验地图的视觉定位
- java 反射 Gc_深入浅析Java反射机制
- 按住 ctrl 并滚动鼠标滚轮才可缩放地图_ZBrush自定义缩放快捷键
- 非常详细的Django使用Token（转）
- matlab平滑窗滤波,matlab实现平滑滤波
- PTA-数组元素循环右移问题
- 支付宝上线新功能：去这个国家入境十分钟搞定！
- flink报错：typeutils.CompositeType$InvalidFieldReferenceException Cannot reference field by field expre
- Java多线程学习二十五：阻塞和非阻塞队列的并发安全原理||如何选择适合自己的阻塞队列？
- zTree加Layui 实现增加和删除，有子节点不允许删除
- Linux文件系统的目录结构详解
- select case when与IF的用法
- 在Linux下安装QT交叉编译,安装QT交叉编译 成功 + 测试
- 【冒泡排序】c++实现冒泡排序代码
- 使用strace查看后台程序stdout输出
- 率先驶入广州，百度Apollo“整车无人”车队街头开跑
- 计算机教师继续教育心得,教师继续教育学习培训心得体会（精选5篇）
- Groovy(二)groovy基础
- 计算机excel感叹号,excel的文件上有个的感叹号是什么意思?
- 已知含税单价、税率、数量，计算不含税单价、不含税金额、税额