Hadoop2.2.0--Hadoop Federation、Automatic HA、Yarn完全分布式集群结构
Hadoop有很多的上场时间,与系统上线。手头的事情略少。So,抓紧时间去通过一遍Hadoop2在下面Hadoop联盟(Federation)、Hadoop2可用性(HA)及Yarn的全然分布式配置。现记录在博客中。互相交流学习。话不多说,直入正文。
本文採用倒叙手法。先将终于结果呈现出来。例如以下:
结果展现一,通过jps查看集群守护进程
结果展现二。通过web端,查看集群执行情况
结果展现三,执行Hadoop2自带的wordcount程序。通过web查看。例如以下图,
能够看出Application Type是MapReduce。哈哈,快点在Yarn上把自己的Storm跑起来吧
OK,3张截图已献上,下文依照例如以下思路进行
本文仅仅讲诉安装过程中的重点。对于有些步骤未做具体说明。欢迎留言交流。
一、集群环境
软件解压后,放在/usr/local路径下
二、详细步骤
准备工作
查看CentOS系统版本号
arch/uname–a x86_64(32位的是i386、i686)
改动主机名(重新启动生效)
vi/etc/sysconfig/network
设定IP地址
改动hosts映射文件
vi/etc/hosts
202.196.37.240 hadoop0
202.196.37.241 hadoop1
202.196.37.242 hadoop2
202.196.37.243 hadoop3
配置SSH
hadoop0上运行。生成密钥对
ssh-keygen–t rsa
cp id_rsa.pub authorized_keys
非hadoop0上运行,聚集
ssh-copy-id -i hadoop0(把非hadoop0机器上的id_rsa.pub远程复制到bigdata0中的authorized_keys文件内)
hadoop0上运行,分发
scp authorized_keys hadoop1:/root/.ssh/
配置JDK
安装Zookeeper
改动核心文件zoo.cfg
dataDir=/usr/local/zookeeper-3.4.5/data
logDir=/usr/local/zookeeper-3.4.5/log
server.0=hadoop0:2887:3887
server.1=hadoop1:2887:3887
server.2=hadoop2:2887:3887
启动、验证Zookeeper集群
zkServer.shstart/status
安装Hadoop2
将自编译的64位的hadoop-2.2.0-src放到/usr/local路径下
cp -R/usr/local/hadoop-2.2.0-src/hadoop-dist/target/hadoop-2.2.0 /usr/local/
mvhadoop-2.2.0 hadoop
本文中的全部xml配置文件。都在/usr/local/hadoop/etc/hadoop路径下,
全部配置文件,均已測试通过,略微整理格式后,可直接copy使用。
配置分为两部分,一部分是对Hadoop2的Hadoop Federation、HA的配置;还有一部分是对Hadoop2的Yarn配置。请看下图:
开启配置文件模式。哈哈
首先在cluster1_hadoop0上配置。然后再往其它节点scp
core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://cluster1</value>
<description>此处是默认的HDFS路径,在节点hadoop0和hadoop1中使用cluster1。在节点hadoop2和hadoop3中使用cluster2</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop0:2181,hadoop1:2181,hadoop2:2181</value>
<description>Zookeeper集群<description>
</property>
</configuration>
hdfs-site.xml
<configuration>
<!--1描写叙述cluster1集群的信息-->
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.nameservices</name>
<value>cluster1,cluster2</value>
</property>
<property>
<name>dfs.ha.namenodes.cluster1</name>
<value>hadoop0,hadoop1</value>
</property>
<property>
<name>dfs.namenode.rpc-address.cluster1.hadoop0</name>
<value>hadoop0:9000</value>
</property>
<property>
<name>dfs.namenode.http-address.cluster1.hadoop0</name>
<value>hadoop0:50070</value>
</property>
<property>
<name>dfs.namenode.rpc-address.cluster1.hadoop1</name>
<value>hadoop1:9000</value>
</property>
<property>
<name>dfs.namenode.http-address.cluster1.hadoop1</name>
<value>hadoop1:50070</value>
</property>
<!--在cluster1中此处的凝视是关闭的,cluster2反之-->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop0:8485;hadoop1:8485;hadoop2:8485/cluster1</value>
<description>指定cluster1的两个NameNode共享edits文件文件夹时,使用的是JournalNode集群来维护</description>
</property>
<property>
<name>dfs.ha.automatic-failover.enabled.cluster1</name>
<value>true</value>
</property>
<property>
<name>dfs.client.failover.proxy.provider.cluster1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!--2以下描写叙述cluster2集群的信息-->
<property>
<name>dfs.ha.namenodes.cluster2</name>
<value>hadoop2,hadoop3</value>
</property>
<property>
<name>dfs.namenode.rpc-address.cluster2.hadoop2</name>
<value>hadoop2:9000</value>
</property>
<property>
<name>dfs.namenode.http-address.cluster2.hadoop2</name>
<value>hadoop2:50070</value>
</property>
<property>
<name>dfs.namenode.rpc-address.cluster2.hadoop3</name>
<value>hadoop3:9000</value>
</property>
<property>
<name>dfs.namenode.http-address.cluster2.hadoop3</name>
<value>hadoop3:50070</value>
</property>
<!-- 在cluster1中此处的凝视是打开的。cluster2反之
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop0:8485;hadoop1:8485;hadoop2:8485/cluster1</value>
<description>指定cluster2的两个NameNode共享edits文件文件夹时。使用的是JournalNode集群来维护</description>
</property>
-->
<property>
<name>dfs.ha.automatic-failover.enabled.cluster2</name>
<value>true</value>
</property>
<property>
<name>dfs.client.failover.proxy.provider.cluster2</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!--3配置cluster1、cluster2公共的信息-->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/usr/local/hadoop/tmp/journal</value>
</property>
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
</configuration>
以上配置完毕后,分发scp
scp -rq hadoop hadoop1:/usr/local/
scp -rq hadoop hadoop2:/usr/local/
scp -rq hadoop hadoop3:/usr/local/
在其它节点改动时,须要注意的地方
hadoop-env.sh 无需改动
slaves 无需改动
core-site.xml
1、<property>
<name>fs.defaultFS</name>
<value>hdfs://cluster1</value>
</property>
cluster1节点中的value值:hdfs://cluster1
cluster2节点中的value值:hdfs://cluster2
hdfs-site.xml
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop0:8485;hadoop1:8485;hadoop2:8485/cluster2</value>
</property>
cluster1节点中的value值:qjournal://hadoop0:8485;hadoop1:8485;hadoop2:8485/cluster1
cluster2节点中的value值:qjournal://hadoop0:8485;hadoop1:8485;hadoop2:8485/cluster2
此处的实质是使用JournalNode集群来维护Hadoop集群中两个NameNode共享edits文件文件夹的信息。
重在理解,不可盲目copy哟
仅仅需相应改动这两个地方就可以。
測试启动
1、启动Zookeeper
在hadoop0、hadoop1、hadoop2上运行zkServer.shstart
2、启动JournalNode
在hadoop0、hadoop1、hadoop2上运行sbin/hadoop-daemon.shstart journalnode
3、格式化ZooKeeper
在hadoop0、hadoop2上运行bin/hdfs zkfc -formatZK
由于Zookeeper要担当运行高可用(HA)切换的任务
对cluster1
41、对hadoop0节点进行格式化和启动
bin/hdfs namenode -format
sbin/hadoop-daemon.sh start namenode
51、对hadoop1节点进行格式化和启动
bin/hdfs namenode -bootstrapStandby
sbin/hadoop-daemon.sh start namenode
61、在hadoop0、hadoop1上启动zkfc
sbin/hadoop-daemon.sh start zkfc
运行后, hadoop0、hadoop1有一个节点就会变为active状态。
对cluster2
42、对hadoop2节点进行格式化和启动
bin/hdfs namenode -format
sbin/hadoop-daemon.sh start namenode
52、对hadoop3节点进行格式化和启动
bin/hdfs namenode -bootstrapStandby
sbin/hadoop-daemon.sh start namenode
62、在hadoop2、hadoop3上启动zkfc
sbin/hadoop-daemon.sh start zkfc
运行后。 hadoop2、hadoop3有一个节点就会变为active状态。
7、
启动datanode,在hadoop0上运行
sbin/hadoop-daemons.sh start datanode
集群的执行情况,请參见文章开头的截图
截至到此,已经能够对Hadoop2的HDFS进行操作。
以下进行Yarn的配置。配置后,就能够在Yarn上执行MapReduce作业啦,哈哈
配置Yarn
下面配置文件依然是在/usr/local/hadoop/etc/hadoop路径下
mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
yarn-site.xml
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop0</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
測试Yarn
启动yarn,在hadoop0上运行
sbin/start-yarn.sh
执行測试程序
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jarwordcount /testFile /out
測试结果。请见博文開始。
OK!
已越过这道坎——Hadoop2中Hadoop Federation、HA、Yarn全然分布式配置。
今天,Hadoop2你搭建成功了吗?DO it !
文章中的xml配置未做具体description,欢迎留言交流。
Storm学习,从我自己去......
版权声明:本文博客原创文章。博客,未经同意,不得转载。
Hadoop2.2.0--Hadoop Federation、Automatic HA、Yarn完全分布式集群结构相关推荐
- Hadoop-HDFS详解与HA,完全分布式集群搭建(细到令人发指的教程)
前言 本篇篇幅较长,有许多集群搭建干货,和枯燥乏味但是面试可能问到的理论知识. 思来想去不知道怎样才能鼓励自己加油学习,想想要面对的生活还是假吧意思打开学习视频吧. 目录 一.引入 hdfs是什么 h ...
- 【大数据】Hadoop—— 三大核心组件理论入门 | 完全分布式集群搭建 | 入门项目实战
文章目录 前言 大数据概述 时代背景 4V特点 大数据思维 核心技术 储存 计算 相关技术 云计算 物联网 Hadoop简介 简介 版本之分 项目生态结构 安装和部署 HDFS 简介 集群结构 实现目 ...
- Hadoop环境搭建教学(二)完全分布式集群搭建;
Hadoop环境搭建教学(一)运行环境,集群规划介绍: 文章目录 安装三台 CentOS 7系统 一.X-Shell的准备工作 二.基本工具安装 三.关闭防火墙 四.修改Host文件 五.3.4.4 ...
- Hadoop2.2.0 HA高可用分布式集群搭建(hbase,hive,sqoop,spark)
1 需要软件 Hadoop-2.2.0 Hbase-0.96.2(这里就用这个版本,跟Hadoop-2.2.0是配套的,不用覆盖jar包什么的) Hive-0.13.1 Zookeepr-3.4.6( ...
- hadoop3.1.1 HA高可用分布式集群安装部署
1.环境介绍 涉及到软件下载地址:https://pan.baidu.com/s/1hpcXUSJe85EsU9ara48MsQ 服务器:CentOS 6.8 其中:2 台 namenode.3 台 ...
- 【Hadoop】单机、伪分布式、完全分布式集群搭建
搭建Hadoop本地模式 本地模式就是单机装hadoop. 安装hadoop 上传hadoop包 通过winSCP上传hadoop包到/opt/soft/文件夹下 [root@bigdata111 s ...
- CentOS hadoop 分布式集群的搭建
从伪分布式到分布式,只差两个配置文件(slaves.masters)的事: 定集群中的全部节点,彼此之间已实现免密码登录(共An−1nA_n^{n-1}对关系),节点都配置好hadoop(每个节点上的 ...
- Hadoop环境搭建教学(一)运行环境,集群规划介绍;
文章目录 前言 一.Hadoop的三种运行环境 二.集群规划 三.需要的基本软件安装 下期见 前言 Hadoop的运行环境可以是在Windows上,也可以在linux上,但在Windows上运行效率很 ...
- hadoop-2.7.1+zookeeper-3.4.8+hbase-1.2.1+apache-hive-2.0.0完全分布式集群
一.环境准备 1.查看系统版本 cat /etc/issue CentOS release 6.8 (Final) 2.软件准备 软件自行官网下载,但自己要统一规划方便后面操作,本文软件源目录/usr ...
- 记Hadoop HA高可用性分布式集群搭建过程
为完成毕业设计中并行算法测试,在学习后,自己在虚拟机搭建了一个基于Hadoop的分布式集群,在这里做个记录,菜鸟首次写博客,已深夜,下面直接进入主题: 规划与说明 在hadoop集群中通常由两个Nam ...
最新文章
- easyui-datagrid行数据field原样输出html标签
- 运放电路复习,放大器、加法器、积分器、差分放大电路等
- asp.net 表单总结
- python教程下载百度云盘到手机_Python教程百度云盘哪里找
- DELPHI PROTOBUF免费的开源支持库fundamentals5
- 吊打面试官?2020 年数据库高频面试题 | 原力计划
- Linux下汇编语言学习笔记23 ---
- 项目总结:初稿与定稿,方向相差180度
- “智能语音助手”的竞品分析 —— 你好小悟小爱同学(4)
- arcpy批量合并融合矢量数据
- 计算机配置内存在哪看,从哪里看电脑配置
- 我上传的CSDN资源无法使用的处理方法
- matlab hsi颜色空间,RGB与HSI颜色空间互换函数(matlab)
- hsi i均衡化 java_HSI颜色下图像的均衡化MATLAB
- 大学计算机基础实验指导word,大学计算机基础实验指导全套.doc
- 企业快速寄件打单教程
- DEVC++小游戏狼人杀
- 是什么让C#成为最值得学习的编程语言
- java字符串==_Java字符串(String)
- php美团项目分享,美团项目(纯代码)(示例代码)