namenode 格式化 -format
文章转自http://blog.csdn.net/xhh198781/article/details/6904615
在Hadoop的HDFS部署好了之后并不能马上使用,而是先要对配置的文件系统进行格式化。在这里要注意两个概念,一个是文件系统,此时的文件系统在物理上还不存在,或许是网络磁盘来描述会更加合适;二就是格式化,此处的格式化并不是指传统意义上的本地磁盘格式化,而是一些清除与准备工作。本文接下来将主要讨论NameNode节点上的格式化。
我们都知道,NameNode主要被用来管理整个分布式文件系统的命名空间(实际上就是目录和文件)的元数据信息,同时为了保证数据的可靠性,还加入了操作日志,所以,NameNode会持久化这些数据(保存到本地的文件系统中)。对于第一次使用HDFS,在启动NameNode时,需要先执行-format命令,然后才能正常启动NameNode节点的服务。那么,NameNode的fromat命令到底做了什么事情呢?
在NameNode节点上,有两个最重要的路径,分别被用来存储元数据信息和操作日志,而这两个路径来自于配置文件,它们对应的属性分别是dfs.name.dir和dfs.name.edits.dir,同时,它们默认的路径均是/tmp/hadoop/dfs/name。格式化时,NameNode会清空两个目录下的所有文件,之后,会在目录dfs.name.dir下创建文件:
- {dfs.name.dir}/current/fsimage
- {dfs.name.dir}/current/fstime
- {dfs.name.dir}/current/VERSION
- {dfs.name.dir}/image/fsimage
会在目录dfs.name.edits.dir下创建文件:
- {dfs.name.edits.dir}/current/edits
- {dfs.name.edits.dir}/current/fstime
- {dfs.name.edits.dir}/current/VERSION
- {dfs.name.edits.dir}/image/fsimage
那么这些文件又是用来干什么的呢?
在介绍这文件的用途之前,我们可以将dfs.name.dir和dfs.name.edits.dir配置成相同的目录,这样的话,NameNode执行格式化之后,会产生如下的文件:{dfs.name.dir}/current/fsimage、{dfs.name.dir}/current/edits、{dfs.name.dir}/current/fstime、{dfs.name.dir}/current/VERSION、{dfs.name.dir}/image/fsimage,由此可以看出上面名字相同的文件实际是一样的,所以在这里,我建议把dfs.name.dir和dfs.name.edits.dir配置成相同的值,以来提高NameNode的效率。ok,现在就来重点的介绍一下这些文件的用途吧。
fsimage:存储命名空间(实际上就是目录和文件)的元数据信息,文件结构如下:
edits:用来存储对命名空间操作的日志信息,实现NameNode节点的恢复;
fstime:用来存储元数据上一次check point 的时间;
VERSION:用来存储NameNode版本信息,命名空间ID(版本号),内容如下:
/image/fsimage: 上一次提交前的/current/fsimage文件;
ok,关于NameNode执行format命令的情况就介绍到这儿。
namenode 格式化 -format相关推荐
- hadoop ha搭建 namenode格式化失败等错误
简单来说,按照官方配置即可,但是要足够细心配置xml文件 先贴自己虚拟机搭建namenode格式化错误 昨晚搜索了一下没找到确定的解决办法,决定是配置文件的原因,自己早上去官网看了下配置文件 我的hd ...
- Hadoop高可用集群下namenode格式化失败问题解决
Hadoop高可用集群下namenode格式化失败问题解决 输入hdfs namenode -format报如下错误 解决方法: 1.在zookeeper目录下执行./bin/zkServer.sh ...
- python0b1010_笔记-python-字符串格式化-format()
笔记-python-字符串格式化-format() 1. 简介 本文介绍了python 字符串格式化方法format()的常规使用方式. 2. 使用 2.1. Accessi ...
- python3 format函数_Python学习教程:Python3之字符串格式化format函数详解(上)
Python学习教程:Python3之字符串格式化format函数详解(上) 概述 在Python3中,字符串格式化操作通过format()方法或者f'string'实现.而相比于老版的字符串格式化方 ...
- python3的格式化用法_浅析python3字符串格式化format()函数的简单用法
format()函数 """ 测试 format()函数 """ def testformat(): # format()函数中有几个元素, ...
- format函数_Python学习教程:Python3之字符串格式化format函数详解(上)
Python学习教程:Python3之字符串格式化format函数详解(上) 概述 在Python3中,字符串格式化操作通过format()方法或者f'string'实现.而相比于老版的字符串格式化方 ...
- 字符串格式化-format()
字符串格式化-format() 转载请标明出处(http://blog.csdn.net/lis_12/article/details/52712994). 普通格式化方法 (%s%d)生成格式化的字 ...
- Python 基础之字符串操作,函数及格式化format
一.字符串的相关操作 1.字符串的拼接 + strvar1 = "我爱你," strvar2 = "亲爱的姑凉" res = strvar1 + strvar2 ...
- namenode 格式化错误 Unable to check if JNs are ready for formatting
bin/hadoop namenode -format 时候出现以下错误 org.apache.hadoop.hdfs.qjournal.client.QuorumException: Unable ...
- python基础语法手册format-Python-输出格式化format()方法的基本使用(2)
本文章主要讲述Python中输出函数里格式化输出<.format()>的使用方法. 任何人可对专栏内容进行任意复制和转载,且无需注明文章作者,出处,来源. 接上次的继续讲,没看过的可以去看 ...
最新文章
- mysql my.ini utf8_修改了my.ini没有效果,MySql的字符集还是没有变成utf8——mysql中文乱码...
- MapReduce Java API-多输入路径方式
- 自定义报表预览控制工具条
- sql server2005索引
- 用生动的例子花式解释:python类中一定需要有 __init__方法么?没有会怎样?
- 震惊! Rightmost Digit 快速幂解决
- linux vi脚本,linux下vi(vim)的新的用法总结
- 单链表的合并算法_图解算法:单链表两两反转 | 眼睛会了手就会系列
- 语言怎么得到直流电压并采样_250V10A高频直流电源/大电流直流稳压稳流电源
- xpath 获取表单的值
- 联想小新潮7000-13 型号:LENOVO 81BS 制作黑苹果,MACos 10.14.2+WIN 10 双系统
- python贴吧爬虫-python贴吧爬虫
- RootMe--HTTP verb tampering
- 腾讯手机指纹认证标准:soter原理
- SAP S4 HANA 银行账户管理(Bank Account Management)- S4中的变化、数据维护平台介绍和配置实操等
- ionic自定义图标心得分享
- 【数据分析可视化】分组和透视功能实战-航班数据分析
- 青龙羊毛——酷狗音乐(教程)
- 碳中和大潮惊涛拍岸,科技企业如何迈入这条大江大河?
- ESXi无法直通显卡