SecondaryNamenode配置与NameNode故障恢复

一、配置

1. 在masters文件中添加 Secondary节点的主机名。

*注:masters文件用于指定secondary的主机而不是namenode,slaves用于指定datanode和tasktracker,

namenode由core-site.xml fs.default.name指定,jobtracker由mapred-site.xml mapred.job.tracker指定

2. 修改hdfs-site.xml文件

<property>  
    <name>dfs.http.address</name>  
    <value>${your-namenode}:50070</value>  
    <description>Secondary get fsimage and edits via dfs.http.address</description>  
</property>  
<property>  
    <name>dfs.secondary.http.address</name>  
    <value>${your-secondarynamenode}:50090</value>  
    <description>NameNode get the newest fsimage via dfs.secondary.http.address</description>  
</property>

*注:

  1. 实际上dfs.http.address只在secondary设置,dfs.secondary.http.address只在namenode上设置即可,为了便于管理,集群所有机器同样配置
  2. 采用默认端口(namenode:50070,secondary:50090)时可以省略该配置

2. 修改core-site.xml文件

<property>  
    <name>fs.checkpoint.period</name>  
    <value>3600</value>  
    <description>The number of seconds between two periodic checkpoints.</description>  
</property>  
<property>  
    <name>fs.checkpoint.size</name>  
    <value>67108864</value>  
    <description>The size of the current edit log (in bytes) that triggers a periodic checkpoint even if the fs.checkpoint.period hasn't expired.  </description>  
</property>  
<property>  
    <name>fs.checkpoint.dir</name>  
    <value>${Hadoop.tmp.dir}/dfs/namesecondary</value>  
    <description>Determines where on the local filesystem the DFS secondary namenode should store the temporary images to merge.If this is a comma-delimited list of directories then the image is replicated in all of the directories for redundancy.</description>  
</property>

*注:该配置在secondary设置即可,为了便于管理,集群所有机器同样配置

3. 重启hdfs,检查是否正常启动

(*注:这一步也可以不重启hdfs,在secondary上直接  sh $HADOOP_HOME/bin/hadoop-daemon.sh start secondarynamenode  启动secondaryNamenode)

(1)重启

sh $HADOOP_HOME/bin/stop-dfs.sh

sh $HADOOP_HOME/bin/start-dfs.sh

(2)检查uri

http://namenode:50070/  #检查namenode

http://sencondnamenode:50090/ #检查secondary

(3)检查目录

检查dfs.name.dir namenode:/data1/hadoop/name

current

image

previous.checkpoint

in_use.lock #主要看时候有这个文件,文件时间戳表示namenode启动时间

检查fs.checkpoint.dir secondary:${hadoop.tmp.dir}/dfs/namesecondary

current

image

in_use.lock #主要看时候有这个文件,文件时间戳表示secondnamenode启动时间

(4) 检查checkpoint是否正常

为便于测试,调整参数fs.checkpoint.period=60,fs.checkpoint.size=10240

对hdfs做一些文件增删操作,看${dfs.name.dir}/current/edits 和 ${fs.checkpoint.dir}/current/edits的变化

posted on 2014-09-22 16:41 zlingh 阅读(...) 评论(...) 编辑 收藏

转载于:https://www.cnblogs.com/zlingh/p/3986270.html

SecondaryNamenode配置与NameNode故障恢复相关推荐

  1. Namenode故障恢复

    Namenode元数据信息多目录配置 为了保证元数据的安全性,我们一般都是先确定好我们的磁盘挂载目录,将元数据的磁盘做RAID1 Namenode的本地目录可以配置成多个,且每个目录存放内容相同,增加 ...

  2. NameNode所需配置,NameNode内存配置计算,NameNode与block关系

    NameNode 所需大小,与Block大小,HDFS副本数均有关,计算方式如下: 例:bolck为256M,副本为3个,10台机器,每台4TB数据, Namenode需要的内存为: 10 * 4 * ...

  3. 顺序表的c语言结构体描述,顺序表的基本方法实现C语言版

    顺序表--------------线性表的第一个儿子 这个儿子的结构体定义: typedef int ElemType;//取别名 typedef struct link{ ElemType * he ...

  4. hadoop SecondaryNameNode和NameNode

    1.概述 光从字面上来理解,很容易让一些初学者先入为主的认为:SecondaryNameNode(snn)就是NameNode(nn)的热备进程. 其实不是.snn是HDFS架构中的一个组成部分,但是 ...

  5. hdfs安全模式退出_浅谈HDFS(二)之NameNode与SecondaryNameNode

    NN与2NN工作机制 思考:NameNode中的元数据是存储在哪里的? 假设存储在NameNode节点的硬盘中,因为经常需要随机访问和响应客户请求,必然效率太低,所以是存储在内存中的 但是,如果存储在 ...

  6. 单节点配置SecondaryNameNode

    一.SecondaryNameNode概念: 光从字面上来理解,很容易让一些初学者先入为主:SecondaryNameNode(snn)就是NameNode(nn)的热备进程.其实不是.ssn是HDF ...

  7. 启动namenode的时候没有启动secondarynamenode

    这篇文章是在不同的机器上配置namenode和secondarynamenode出现的问题. 对于配置文件的写法,可以参考我的这一片文章:https://blog.csdn.net/qq_370767 ...

  8. NameNode和SecondaryNameNode详解

    一.NN和2NN工作机制 NN和2NN工作机制,如图 1.第一阶段:NameNode启动 (1)第一次启动NameNode格式化后,创建fsimage和edits文件.如果不是第一次启动,直接加载编辑 ...

  9. Hadoop的NameNode与SecondaryNameNode,DataNode

    NameNode: 主要任务是接收客户端的读写服务, 主要功能: 1,文件ownship和permission 2,文件包含哪些块 3,Block保存在哪个DataNode中(由DataNode每次启 ...

  10. CHD4B1(hadoop-0.23)实现NameNode HA安装配置

    CHD4B1(hadoop-0.23)实现NameNode HA安装配置 CHD4B1(hadoop-0.23)实现NameNode HA安装配置 Cloudera CHD4B1版本已经包含了Name ...

最新文章

  1. Thread.sleep(0) 有什么用?
  2. 为什么手机升级系统反应慢了_win7系统鼠标右键刷新反应慢原因【解决方法】...
  3. nginx反向代理、负载均衡、动态请求
  4. 查看linux的系统位数
  5. 建立SQL Server警告和给操作员发送email通知
  6. 项目如何用jetty运行_如何用Cloudbase Framework部署一个Vue项目?
  7. 关于封装的一个小问题和TA的例子
  8. 计算机科学与量子信息处理,量子计算交叉学科
  9. LeetCode 945. 使数组唯一的最小增量
  10. URLClassLoader使用方法及事例程序
  11. java翻译_java实现英文翻译程序
  12. 随机数算法 java_最全的java随机数生成算法
  13. iOS代码质量要求_iOS 无需越狱修改和平精英极限画质
  14. 通过UDR扩展GBase8s查询行为的工程实践
  15. webdriver-helper安装说明
  16. 1118:铺地毯(C C++)
  17. Android自定义Lint检查-CustomLint
  18. 计算机控制器及其设计实现
  19. 淘宝商家批量上架宝贝的方式有哪些
  20. R可视化ggplot2绘制多子图

热门文章

  1. 机械师电脑_必看!面对电脑玩游戏卡顿,需要做些什么?
  2. 开始编译mysql文件_mysql编译安装(详细)(转载)
  3. j3455跑mysql_看烦了千篇一律的J3455?让黑群晖显示真实的CPU信息
  4. 易筋SpringBoot 2.1 | 第十二篇:SpringBoot综合应用DataSoure
  5. GBDT与LR融合现状
  6. 远程登录shell命名sftp_开发好物推荐13强于XShell远程连接FinalSHell
  7. MapReduce如何使用多路输出
  8. KNN(k-nearest neighbor algorithm)--从原理到实现
  9. 卡方分布的latex代码
  10. Hvv近期0day总结二