为什么80%的码农都做不了架构师?>>>   

1、namenode启动时,namenode节点都做了哪些动作?fsimage和edits有什么变化?

2、namenode什么时候开始监听RPC和HTTP请求?

namenode启动时,首先将映像文件(fsimage)载入内存,并执行编辑日志(edits)中的各项操作。

一旦在内存中成功建立文件系统元数据的映像,则创建一个新的fsimage文件(这个操作不需要借助辅助namenode)和一个空的编辑日志。此时,namnode开始监听RPC和HTTP请求。

3、namenode在什么阶段会处于安全模式?

在启动阶段。

4、namenode运行在安全模式下,文件系统对于客户端可以读写吗?

但是此刻,namenode运行在安全模式,即namenode的文件系统对于客户端来说是只读的。

严格来说,在安全模式下,只有那些访问文件系统元数据的文件系统操作是可以成功的,例如显示目录列表等。

对于读文件操作来说,只有集群中当前datanode上的块可用时,才能够读取文件。但文件修改操作(包括写、删除或重命名)均会失败。

5、系统中数据块的位置是由谁来维护的?

需要强调的是,系统中数据块的位置并不是由namenode维护的,而是以块列表的形式存储在datanode中。

6、namenode会在哪儿保留所有块位置的映射信息?

在系统的正常操作期间,namenode会在内存中保留所有块位置的映射信息。

7、安全模式下,namenode、datanode都做了哪些动作?

1)、datanode向namenode检查块列表信息。

2)、namenode不向datanode发出任何块复制或块删除命令。即,执行复制或删除块失败。

详细过程为:

1)、在安全模式下,各个datanode会向namenode检查块列表信息(即向namenode发送块列表的最新情况)

2)、namenode了解到足够多的块位置信息之后,即可高效运行文件系统。

3)、但如果namenode没有检查到足够多的datanode,则需要将块复制到其他datanode,而在大多数情况下这都是不必要的(因为只需等待检查到若干datanode检入),并会极大地浪费集群的资源。

4)、实际上,在安全模式下,namenode并不向datanode发出任何块复制或块删除的命令。

8、什么时候退出安全模式?

当满足“最小复本条件”(minimal replication condition),namenode会在30秒钟之后就退出安全模式。

9、最小副本条件是指什么?

最小副本条件是在整个文件系统中有99.9%的块满足最小副本级别(默认值是1,由dfs.replication.min属性设置)。

10、安全模式相关属性

1)、dfs.replication.min

2)、dfs.safemode.threshold.pct

3)、dfs.safemode.extension

如下表:

11、启动一个刚刚格式化的HDFS集群时,namenode是否会进入安全模式?为什么?

因为系统中还没有任何块,所以namenode不会进入安全模式。

12、如何进入和离开安全模式?

1)、#查看namenode是否处于安全模式?

hadoop dfsadmin -safemode get

在HDFS的网页界面也能够显示namenode是否处于安全模式。

2)#等待namenode退出安全模式

当用户期望在执行某条命令之前namenode先退出安全模式,如何操作?

有时用户期望在执行某条命令之前namenode先退出安全模式,特别是在脚本中。使用wait选项能够达到这个目的:

hadoop dfsadmin -safemode wait

3)、#进入安全模式

管理员随时可以让namenode进入或离开安全模式。这项功能在维护和升级集群时非常关键,因为需要确保数据在指定时段内是只读的。

hadoop dfsadmin -safemode enter

4)、#离开安全模式

hadoop dfsadmin -safemode leave

13、使namenode永远处于安全模式的方法?

1)、namenode启动阶段,运行hadoop dfsadmin -safemode enter

namenode在启动阶段会处于安全模式。在此期间也可使用这条命令,从而确保namenode在启动完毕之后不离开安全模式。

2)、将dfs.safemode.threshold.pct值设为大于1

另一种使namenode永远处于安全模式的方法是将属性dfs.safemode.threshold.pct的值设为大于1。

转载于:https://my.oschina.net/HIJAY/blog/332960

第10章-管理Hadoop集群-hadoop 安全模式相关知识点相关推荐

  1. Linux查看Hadoop集群,Hadoop实战之Hadoop集群功能简单测试验证

    前几天对Hadoop分布式集群的安装过程进行了总结,对hadoop的集群搭建只是学习hadoop中的艰难的一步,后面还需要学习更多的知识,不知道自己能不能坚持下去,不知道后面还会遇到多少困难,不过,我 ...

  2. Hadoop集群的安全模式

    基本语法 集群处于安全模式,不能执行重要操作(写操作).集群启动完成后,自动退出安全模式. bin/hdfs dfsadmin -safemode get //(功能描述:查看安全模式状态) bin/ ...

  3. Hadoop集群部署后相关WEB界面打不开大概原因

    集群部署完毕后,查看相关WEB界面,打不开的原因可能如下: 1.可以先去检查LINUX(CentOS7)机器的防火墙是否关闭,命令如下: systemctl status firewalld.serv ...

  4. Hadoop系列之九:Hadoop集群伪分布式模式的实现详解

    1.Hadoop依赖软件 Hadoop基于Java语言开发,因此其运行严重依赖于JDK(Java Development Kit),并且Hadoop的许多功能依赖于Java 6及以后的版本才提供的特性 ...

  5. Hadoop集群的详细介绍

    入门笔记,如有错误还请大家指证 Hadoop集群 一.认识Hadoop集群 二.HDFS (一).什么是HDFS (二).HDFS的组件 (三).HDFS的作用 (四).HDFS常用命令 (五).HD ...

  6. 深入理解Hadoop集群和网络

    云计算和Hadoop中网络是讨论得相对比较少的领域.本文原文由Dell企业技术专家Brad Hedlund撰写,他曾在思科工作多年,专长是数据中心.云网络等.文章素材基于作者自己的研究.实验和Clou ...

  7. Hadoop实战-中高级部分 之 Hadoop 集群安装

    Hadoop RestFul Hadoop HDFS原理1 Hadoop HDFS原理2 Hadoop作业调优参数调整及原理 Hadoop HA Hadoop MapReduce高级编程 Hadoop ...

  8. Hadoop集群安装及其配置(三台虚拟机)

    Hadoop集群安装及其配置(三台虚拟机) 利安装配置前准备--安装虚拟机 利用cat查看配置文件 修改主机名称 配置IP映射 配置网卡设备的mac地址 Xshell的安装与配置 ssh的配置 JDK ...

  9. Hadoop集群设置

    Hadoop集群设置 目的 先决条件 安装 在非安全模式下配置Hadoop Hadoop守护程序的配置环境 配置Hadoop守护程序 监视NodeManager的运行状况 Slaves文件 Hadoo ...

最新文章

  1. miui 8 android对应关系,小米回应MIUI版本和安卓版本没有对应关系 你怎么看
  2. js实现横向跑马灯效果
  3. springboot中DataSource数据源实例产生时机及所需环境
  4. python计算机知识点,最新最全Python基础的知识点复习完整版.pdf
  5. 错误: 找不到符号 符号: 类 Fill 位置: 类 Zeros<T> 其中, T是类型变量: T扩展已在类 Zeros中声明的Object
  6. python写一个自动登录脚本_Python 实现自动登录+点击+滑动验证功能
  7. 小程序中textarea点击按钮事件
  8. 对象必须实现 iconvertible。_java面向对象最全入门笔记(通俗易懂,适合初学者)...
  9. java web核心知识_JAVA web 相关知识点
  10. 2019年终总结与新年重磅福利
  11. java 写文件缓存,java泛型实现文件缓存
  12. gnu.getopt java_c – 用于GNU getopt()的-W选项是什么?
  13. 美股周一暴跌触发熔断:苹果、特斯拉股价大跌
  14. 转 Java工程师成神之路
  15. 电脑网线主要分类(网络传输介质)
  16. English语法_形容词-排序
  17. cs字体样式和盒子模型学习1
  18. Akka Actor模型的简介与Actor的创建方式
  19. HMAC 挑战/响应双向认证
  20. 机械革命无法使用U盘启动linux,机械革命如何用u盘装系统

热门文章

  1. SSM框架——使用MyBatis Generator自动创建代码
  2. 自己使用的一个.NET轻量开发结构
  3. python 面试宝典--集各家之所长,乱七八糟于一体
  4. 《Java程序员全攻略:从小工到专家》连载八:加入什么样的公司
  5. 彻底删除 XP 自带的 Windows Messenger方法
  6. 指定时间的月初和月末一天的写法
  7. CF374 Maxim and Array
  8. Java 集合练习——3
  9. 数据结构(java语言描述)顺序栈的使用
  10. LeetCode - 3Sum Closest