HDFS中的safemode

在启动HDFS的过程中，NameNode会先进入一个指定的状态，这个状态就叫safemode，在这个状态下数据无法进行副本的复制，也就无法进行数据的读写操作。NameNode会接收到DataNode上的心跳和块报告信息，例如DataNode是否alive，是通过心跳确定的。DataNode上的块报告包含了数据块的列表，每个数据块都有一个指定的最小副本系数。在NameNode中一旦检测到数据块的最小副本系数，那么这个数据块说明是处在安全模式下的。例如数据块的副本系数是3，但是当前只间查到2块，说明这时数据有问题，继续检查30秒之后(默认30s)会退出safeMode。
因此在HDFS启动之后，还不能立即执行相关的读写操作，还在SafeMode状态。需要隔一段时间（默认30秒）之后在执行。

HDFS中的safemode相关推荐

【问题】HDFS中块（block）的大小为什么设置为128M？
一.为什么HDFS中块(block)不能设置太大,也不能设置太小? 如果块设置过大, 一方面,从磁盘传输数据的时间会明显大于寻址时间,导致程序在处理这块数据时,变得非常慢: 另一方面,mapreduc ...
三、HDFS中的Java和Python API接口连接
上次介绍了HDFS的简单操作,今天进入HDFS中的Java和Python的API操作,后面可能介绍Scala的相关的. 在讲Java API之前介绍一下使用的IDE--IntelliJ IDEA ,我 ...
HBase建表高级属性，hbase应用案例看行键设计，HBase和mapreduce结合，从Hbase中读取数据、分析，写入hdfs，从hdfs中读取数据写入Hbase，协处理器和二级索引
1. Hbase高级应用 1.1建表高级属性下面几个shell 命令在hbase操作中可以起到很到的作用,且主要体现在建表的过程中,看下面几个create 属性 1. BLOOMFILTER 默认是 ...
模拟使用Flume监听日志变化，并且把增量的日志文件写入到hdfs中
1.采集日志文件时一个很常见的现象采集需求:比如业务系统使用log4j生成日志,日志内容不断增加,需要把追加到日志文件中的数据实时采集到hdfs中. 1.1.根据需求,首先定义一下3大要素: 采集源 ...
hdfs如何查找指定目录是否文件_在shell中如何判断HDFS中的文件目录是否存在
原标题:在shell中如何判断HDFS中的文件目录是否存在在Linux文件系统中,我们可以使用下面的Shell脚本判断某个文件是否存在: # 这里的-f参数判断$file是否存在 if[ ! -f ...
hdfs 多个文件合并_hadoop学习笔记3　hadoop程序将本地文件夹中多个文件，合并为一个文件并上传到hdfs中--梦飞翔的地方(梦翔天空)...
今天梦翔儿,成功实现hadoop编程,将本地文件夹中多个文件,合并为一个文件并上传到hdfs中直接上代码:PutMerge.java import java.io.IOException; impo ...
vmware虚拟机上的centos安装Hadoop,以及在本地eclipse上运行mapReduce项目，并将文件输出到HDFS中...
注意centos主机名不支持下划线,所以文章中若出现centos_02.com,请替换为 centos02.com vmware虚拟机上的centos安装Hadoop 安装vmware虚拟机虚拟机上 ...
elasticsearch备份与恢复4_使用ES-Hadoop将ES中的索引数据写入HDFS中
背景知识见链接:elasticsearch备份与恢复3_使用ES-Hadoop将HDFS数据写入Elasticsearch中项目参考<Elasticsearch集成Hadoop最佳实践> ...
【大数据作业02】HDFS中的名称节点和数据结点的具体功能
试述HDFS中的名称节点和数据结点的具体功能名称节点负责管理分布式文件系统的命名空间,记录每个文件中各个块所在的数据节点的位置信息: 数据节点是分布式文件系统HDFS的工作节点,负责数据的存储和读取 ...

HDFS中的safemode

HDFS中的safemode相关推荐

最新文章

热门文章