HADOOP综合应用架构之一配置Secondarynamenode在另一台机器运行

secondarynamenode的作用就是用来做checkpoint---相当于对NameNode节点的元数据备份

现在将secondarynamenode部署在另一台机器，是为了引入Zookeeper做自动切换

具体方法如下

1.修改conf/core-site.xml

增加或修改

<property>
<name>fs.checkpoint.period</name>
<value>3600</value>
<description>The number of seconds between two periodic checkpoints. </description>
</property>
<property>
<name>fs.checkpoint.size</name>
<value>67108864</value>
<description>The size of the current edit log (in bytes) that triggers a periodic checkpoint even if the fs.checkpoint.period hasn't expired. </description>
</property>

<property>
<name>fs.checkpoint.dir</name> --可以不写，默认为 {hadoopdata}/dfs/namesecondary
<value>/data/work/hdfs/namesecondary</value>
<description>Determines where on the local filesystem the DFS secondary name node should store the temporary images to merge. If this is a comma-delimited list of directories then the image is replicated in all of the directories for redundancy. </description>
</property>

2.修改conf/hdfs-site.xml

<name>dfs.http.address</name>

<value>0.0.0.0:50070</value>
<description> The address and the base port where the dfs namenode web ui will listen on. If the port is 0 then the server will start on a free port. </description>
</property>

0.0.0.0改为namenode的IP地址（Master的IP）

3.修改conf/masters

将secondarynamenode的机器IP写入，可以多写，一行一个IP

4.重启HADOOP，检查secondarynamenode是否已启动

在Master节点上输入 jps 可以看到 NameNode,Jobtracker

在DataNode上输入jps可以看到 DataNode,Tasktracker

在secondarynamenode上输入jps可以看到 Secondarynamenode

进入secondarynamenode的目录/data/work/hdfs/namesecondary
正确的结果：

如果没有，请耐心等待，只有到了设置的checkpoint的时间或者大小，才会生成。

转载于:https://www.cnblogs.com/bobsoft/archive/2012/10/07/2714476.html

HADOOP综合应用架构之一配置Secondarynamenode在另一台机器运行相关推荐

Hadoop的基础架构
Hadoop这个名字现在对很多开发者来说,并不陌生,但是很多开发者对其工作原理和架构并不了解.Hadoop怎么实现的分布式存储和分布式计算,其计算性能为什么会提高那么多.本文将从其基本工作原理方面解释 ...
Amazon EMR（Elastic MapReduce）：亚马逊Hadoop托管服务运行架构Hadoop云服务之战：微软vs.亚马逊...
http://s3tools.org/s3cmd Amazon Elastic MapReduce (Amazon EMR)简介 Amazon Elastic MapReduce (Amazon EM ...
单节点配置SecondaryNameNode
一.SecondaryNameNode概念: 光从字面上来理解,很容易让一些初学者先入为主:SecondaryNameNode(snn)就是NameNode(nn)的热备进程.其实不是.ssn是HDF ...
Hadoop 2.0集群配置详细教程
Hadoop 2.0集群配置详细教程前言 Hadoop2.0介绍 Hadoop是 apache 的开源项目,开发的主要目的是为了构建可靠,可拓展 scalable ,分布式的系统, hadoop ...
Hadoop集群_Hadoop安装配置
1.集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台.以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesy ...
Hadoop集群搭 Hadoop分布式文件系统架构和设计
Hadoop集群搭建先决条件确保在你集群中的每个节点上都安装了所有必需软件. 获取Hadoop软件包. 安装安装Hadoop集群通常要将安装软件解压到集群内的所有机器上. 通常,集群里的一台机器 ...
[ hadoop ] hadoop入门 : 组成架构.环境搭建.运行模式
1 大数据概论概念: 指无法在一定时间范围内用常规软件工具进行捕捉.管理和处理的数据集合,是需要新处理模式才能具有更强的决策力.洞察发现力和流程优化能力的海量.高增长率和多样化的信息资产. 需求: ...
Hadoop分布式系统集成架构
一.概念 Hadoop是一个由Apache基金会所开发的分布式系统基础架构.(发音是:[hædu:p]) http://hadoop.apache.org/ Hadoop Hadoop实现了一个分布 ...
Hadoop Yarn内存使用优化配置
第一部分Hadoop Yarn内存使用优化配置在Hadoop2.0中, YARN负责管理MapReduce中的资源(内存, CPU等)并且将其打包成Container. 这样可以精简MapReduc ...

HADOOP综合应用架构之一配置Secondarynamenode在另一台机器运行

HADOOP综合应用架构之一配置Secondarynamenode在另一台机器运行相关推荐

最新文章

热门文章

HADOOP综合应用架构之一 配置Secondarynamenode在另一台机器运行

HADOOP综合应用架构之一 配置Secondarynamenode在另一台机器运行相关推荐

最新文章

热门文章

HADOOP综合应用架构之一配置Secondarynamenode在另一台机器运行

HADOOP综合应用架构之一配置Secondarynamenode在另一台机器运行相关推荐