为什么要格式化namenode以及注意点

格式化namenode的命令

   hdfs namenode -format

前提知识：在NameNode节点上，有两个来自于配置文件的最重要的路径，它们对应的属性分别是dfs.name.dir和dfs.name.edits.dir，分别被用来存储元数据信息和操作日志。同时，它们默认的路径均是/tmp/hadoop/dfs/name。

格式化namenode都发生了什么：
1.清空dfs.name.dir和dfs.name.edits.dir两个目录下的所有文件
2.在目录dfs.name.dir下创建文件:

     [plain] view plaincopy{dfs.name.dir}/current/fsimage  {dfs.name.dir}/current/fstime  {dfs.name.dir}/current/VERSION  {dfs.name.dir}/image/fsimage

3.在目录dfs.name.edits.dir下创建文件:

     [plain] view plaincopy{dfs.name.edits.dir}/current/edits  {dfs.name.edits.dir}/current/fstime  {dfs.name.edits.dir}/current/VERSION  {dfs.name.edits.dir}/image/fsimage

注意：如果二次格式化NameNode，就会产生新的集clusterID,导致NameNode和DataNode的clusterID不一致，集群找不到已往数据。如何你真的要格式namenode,格式之前，一定要先删除data数据和log日志（如果是搭建好集群后格式化，那就要把所有的日志都清空，包括zookeeper。但最好不要这样做），然后再格式化NameNode。

为什么要格式化namenode以及注意点相关推荐

hadoop错误，重新格式化namenode后，出现java.io.IOException Incompatible clusterIDs
错误: java.io.IOException: Incompatible clusterIDs in /data/dfs/data: namenode clusterID = CID-d1448b9 ...
hadoop 重新格式化 NameNode
[问题描述] 在安装配置hadoop的过程中,很可能发生错误导致datanode或者namenode 启动失败,这时我们可以选择重新格式化 namenode. 一.删除data数据和log日志二 . ...
需要重新格式化NameNode
问题: 需要重新格式化NameNode 解决: 1.杀死已有的name,datanode进程 2.删除所有机器的data.logs目录 3.重新格式化:hdfs name -format
配置Hadoop格式化namenode时报错cannot create directory /usr/local/hadoop/tmp/dfs/name/current
格式化namenode时,通过以下字句验证是否成功 status 0 为操作成功,status 1为操作失败,往上翻查找错误原因该错误是由于权限问题导致的我们通过 sudo su 进入root操作 ...
格式化 NameNode 提示 SHUTDOWN_MSG: Shutting down NameNode at xxx/xxx.xxx.xxx.xxx
在使用 hadoop namenode -format 格式化 NameNode 时,提示如下错误: SHUTDOWN_MSG: Shutting down NameNode at xxx/xxx.x ...
hadoop集群-格式化namenode节点后，从节点的datanode不能启动，或者是datanode启动到主节点上。
进行二次namenode格式化前,请注意: hadoop namenode -format 进行着一步前,要把以前格式化的内容删掉,如果,你的路径是在hadoop文件夹内,那么直接格式化即可,如果是在 ...
重新格式化NameNode后，DataNode启动不起来问题解决
http://jingyan.baidu.com/article/3c343ff7e75e9e0d36796347.html http://blog.csdn.net/long1657/article ...
五、格式化namenode出错
一.报错问题: ERROR conf.Configuration: error parsing conf yarn-site.xml com.ctc.wstx.exc.WstxParsingExcep ...
hadoop ha搭建 namenode格式化失败等错误
简单来说,按照官方配置即可,但是要足够细心配置xml文件先贴自己虚拟机搭建namenode格式化错误昨晚搜索了一下没找到确定的解决办法,决定是配置文件的原因,自己早上去官网看了下配置文件我的hd ...

为什么要格式化namenode以及注意点

为什么要格式化namenode以及注意点相关推荐

最新文章

热门文章