hadoop2.8 ha 集群搭建
简介:
最近在看hadoop的一些知识,下面搭建一个ha (高可用)的hadoop完整分布式集群:
hadoop的单机,伪分布式,分布式安装
hadoop2.8 集群 1 (伪分布式搭建
hadoop2.8 ha 集群搭建
hbase完整分布式集群搭建
hadoop完整集群遇到问题汇总
搭建步骤:
主机 | 别名 | 安装软件 | 现有进程 | 服务地址 |
192.168.248.138 | cdh1 | hadoop2.8 jdk1.8 | namenode DFSZKFailoverController | http://cdh1:50070 |
192.168.248.139 | cdh2 | hadoop2.8 jdk1.8 | namenode DFSZKFailoverController | http://cdh1:50070 |
192.168.248.140 | cdh3 | hadoop2.8 jdk1.8 | ResourceManager | |
192.168.248.141 | cdh4 | hadoop2.8 jdk1.8 zookeeper3.4.13 | QuorumPeerMain JournalNode DataNode NodeManager | http://cdh3:8088 |
192.168.248.142 | cdh5 | hadoop2.8 jdk1.8 zookeeper3.4.13 | QuorumPeerMain JournalNode DataNode NodeManager | |
192.168.248.143 | cdh6 | hadoop2.8 jdk1.8 zookeeper3.4.13 | QuorumPeerMain JournalNode DataNode NodeManager | |
192.168.248.144 | cdh7 | hadoop2.8 jdk1.8 | JournalNode DataNode NodeManager |
1> 关闭防火墙,禁止设置开机启动:
(1) //临时关闭 systemctl stop firewalld
(2) //禁止开机启动 systemctl disable firewalld
注意:centos7防火墙默认是:firewalld
centos6 的命令是:
//临时关闭
service iptables stop
//禁止开机启动
chkconfig iptables off
2> 修改selinux 属性为disabled
注意:修改了selinux或者修改了hostname需要重启使其生效【在这我没立即启动,下面配置好基础环境后再统一启动】
3> Yum 安装net-tools.x86_64和lrzsz.x86_64
(1) Net-tools是为了ifconfig yum install -y net-tools.x86_64
(2) Lrzsz是方便拖文件上传 yum install -y lrzsz.x86_64
因为我的镜像是,mini版的centos,除了基础命令和yum其他命令都需要自己安装。如果用完整版centos这些命令都已经集成进去了。
4> 准备集群所需要的相应软件安装包
(1) Jdk1.8
(2) Hadoop2.8
(3) Zookeeper3.4.13
暂时准备这这些基本软件,在cdh家目录下创建一个hadoop目录,把上述基本软件上传到该家目录下的hadoop文件夹下。
(4) 安装jdk【用root权限去安装】
① [cdh@localhost hadoop]$ tar -zxvf jdk-8u181-linux-x64.tar.gz
② 修改环境变量 vi ~/.bash_profile | vi /etc/profile
source ~/.bash_profile 使其生效
Java -version 验证安装是否成功
到这cdh1号机器基本软件安装完成:下面我来关闭cdh1来克隆几份服务器,这样cdh1安装配置那些软件和配置都会同步过去。克隆步骤如下
(1) 首先关闭cdh1服务器,因为在启动和挂起的状态下无法克隆机器。
启动cdh1-cdh7 在xshell中建立对七个虚机的连接
注意,在这我使用的不是root用户,都是普通用户cdh
5> 安装hadoop集群的准备工作:
(1) 修改主机名:
root用户登录
vi /etc/hostname
自定义主机名
重启 reboot
(2) ssh免密登录问题。
分别在每个节点上生成公钥私钥:
cd /root/.ssh
ssh-keygen -t rsa三次回车
cp id_rsa.pub authorized_keys
复制秘钥报错,是因为解析主机报错。配置/etc/hosts即可
将cdh2、cdh3、cdh4、cdh5、cdh6,cdh7的私钥复制到cdh1节点上:
在cdh2节点上执行:ssh-copy-id -i cdh1
在cdh3节点上执行:ssh-copy-id -i cdh1
在cdh4节点上执行:ssh-copy-id -i cdh1
在cdh5节点上执行:ssh-copy-id -i cdh1
在cdh6节点上执行:ssh-copy-id -i cdh1
在cdh7节点上执行:ssh-copy-id -i cdh1
将cdh1节点上的authorized_keys复制给cdh2、cdh3、cdh4、cdh5、cdh6,cdh7节点:
在cdh1节点上执行:scp /root/.ssh/authorized_keys cdh2:/root/.ssh/
在cdh1节点上执行:scp /root/.ssh/authorized_keys cdh3:/root/.ssh/
在cdh1节点上执行:scp /root/.ssh/authorized_keys cdh4:/root/.ssh/
在cdh1节点上执行:scp /root/.ssh/authorized_keys cdh5:/root/.ssh/
在cdh1节点上执行:scp /root/.ssh/authorized_keys cdh6:/root/.ssh/
在cdh1节点上执行:scp /root/.ssh/authorized_keys cdh7:/root/.ssh/
验证ssh免密码登录(包括登录自己):
在cdh1节点上执行:ssh cdh1、ssh cdh2、ssh cdh3、ssh cdh4、ssh cdh5、ssh cdh6,ssh cdh7
在cdh2节点上执行:ssh cdh1、ssh cdh2、ssh cdh3、ssh cdh4、ssh cdh5、ssh cdh6,ssh cdh7
在cdh3节点上执行:ssh cdh1、ssh cdh2、ssh cdh3、ssh cdh4、ssh cdh5、ssh cdh6,ssh cdh7
在cdh4节点上执行:ssh cdh1、ssh cdh2、ssh cdh3、ssh cdh4、ssh cdh5、ssh cdh6,ssh cdh7
在cdh5节点上执行:ssh cdh1、ssh cdh2、ssh cdh3、ssh cdh4、ssh cdh5、ssh cdh6,ssh cdh7
在cdh6节点上执行:ssh cdh1、ssh cdh2、ssh cdh3、ssh cdh4、ssh cdh5、ssh cdh6,ssh cdh7
在cdh7节点上执行:ssh cdh1、ssh cdh2、ssh cdh3、ssh cdh4、ssh cdh5、ssh cdh6,ssh cdh7
6> 在cdh1节点上配置hadoop2.8
(1) 配置hadoop环境变量
source /etc/profile 保存生效
(2) 修改位于hadoop/etc/hadoop下的配置文件(hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、slaves)
修改hadoop-env.sh:
修改core-site.xml
修改hdfs-site.xml
<configuration><!--指定hdfs的nameservice为ns1,需要和core-site.xml中的保持一致 --><property><name>dfs.nameservices</name><value>ns1</value></property><!-- ns1下面有两个NameNode,分别是nn1,nn2 --><property><name>dfs.ha.namenodes.ns1</name><value>nn1,nn2</value></property><!-- nn1的RPC通信地址 --><property><name>dfs.namenode.rpc-address.ns1.nn1</name><value>cdh1:9000</value></property><!-- nn1的http通信地址 --><property><name>dfs.namenode.http-address.ns1.nn1</name><value>cdh1:50070</value></property><!-- nn2的RPC通信地址 --><property><name>dfs.namenode.rpc-address.ns1.nn2</name><value>cdh2:9000</value></property><!-- nn2的http通信地址 --><property><name>dfs.namenode.http-address.ns1.nn2</name><value>cdh2:50070</value></property><!-- 指定NameNode的元数据在JournalNode上的存放位置 --><property><name>dfs.namenode.shared.edits.dir</name><value>qjournal://cdh4:8485;cdh5:8485;cdh6:8485/ns1</value></property><!-- 指定JournalNode在本地磁盘存放数据的位置 --><property><name>dfs.journalnode.edits.dir</name><value>/cloud/hadoop/journal</value></property><!-- 开启NameNode失败自动切换 --><property><name>dfs.ha.automatic-failover.enabled</name><value>true</value></property><!-- 配置失败自动切换实现方式 --><property><name>dfs.client.failover.proxy.provider.ns1</name><value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value></property><!-- 配置隔离机制 --><property><name>dfs.ha.fencing.methods</name><value>sshfence</value></property><!-- 使用隔离机制时需要ssh免登陆 --><property><name>dfs.ha.fencing.ssh.private-key-files</name><value>/root/.ssh/id_rsa</value></property> </configuration>
修改mapred-site.xml
修改yarn-site.xml
修改slaves:(datanode节点设置,cdh7是我预留的机器,装ozzie或者pig的暂时不放入datanode节点中)【如果需要把其他机器作为datanode节点。只需要在这配置,然后同步到其他机器上,然后namenode重新格式化即可】
cdh4
cdh5
cdh6
注意:core-site.xml中指定了hadoop数据存放的本地磁盘路径是/hadoop/data,而这个/hadoop/下data文件夹是不存在需要创建;
hdfs-site.xml中指定了JournalNode在本地磁盘存放数据的位置是/hadoop/journal,而/hadoop/下的journal文件夹是不存在的需要创建。
此上6个配置文件都是hdp1节点上的,修改完成后将配置好的环境变量/etc/profile文件、/cloud/jdk文件夹和/cloud/hadoop文件夹复制到其他节点:
在hdp1节点上执行: scp -r /hadoop/ cdh2:/
在hdp1节点上执行: scp -r /hadoop/ cdh3:/
在hdp1节点上执行: scp -r /hadoop/ cdh4:/
在hdp1节点上执行: scp -r /hadoop/ cdh5:/
在hdp1节点上执行: scp -r /hadoop/ cdh6:/
在hdp1节点上执行: scp -r /hadoop/ cdh7:/
将环境变量/etc/profile文件复制到其他节点(在其他节点上要执行source /etc/profile使其修改立即生效):
scp /etc/profile cdh2:/etc/
scp /etc/profile cdh3:/etc/
scp /etc/profile cdh4:/etc/
scp /etc/profile cdh5:/etc/
scp /etc/profile cdh6:/etc/
scp /etc/profile cdh7:/etc/
7> 在cdh4,cdh5,cdh6配置zk集群
cd /hadoop/目录下
解压zookeeper-3.4.13.tar.gz:tar -zxvf zookeeper-3.4.13.tar.gz(当前目录下多了一个zookeeper-3.4.13文件夹)
重命名zookeeper-3.4.13:mv zookeeper-3.4.13 zookeeper
cd到/hadoop/zookeeper/conf/目录下:cp zoo_sample.cfg zoo.cfg
vi zoo.cfg
修改:dataDir=/hadoop/zookeeper/data
在最后面添加:
server.1=cdh4:2888:3888
server.2=cdh5:2888:3888
server.3=cdh6:2888:3888
在/hadoop/zookeeper/创建data文件夹,进入/hadoop/zookeeper/data下创建myid文件,内容为1
将/hadoop/zookeeper文件夹复制到cdh5和cdh6下:
在cdh4节点上执行:scp -r /hadoop/zookeeper cdh5:/hadoop/
在cdh4节点上执行:scp -r /hadoop/zookeeper cdh6:/hadoop/
在cdh5节点上修改/hadoop/zookeeper/data/myid为2
在cdh6节点上修改/hadoop/zookeeper/data/myid为3
启动zk集群:
启动cdh4、cdh5和cdh6节点上的zk
分别在每个节点上执行:
cd /hadoop/zookeeper/bin目录下
启动zk:./zkServer.sh start
查看状态:
zkServer.sh status(leader或follower)
jps后多出来个quorumpeerMain
8> 8在cdh1节点上启动journalnode(会启动所有journalnode)
cd /hadoop/hadoop-2.8.0/sbin目录下
启动journalnode:hadoop-daemons.sh start journalnode(在cdh4、cdh5和cdh6节点上运行jps命令检验,多了JournalNode进程)
9> 在hdp1节点上格式化HDFS
格式化HDFS:hadoop namenode -format
将格式化后生成的hadoop的数据文件都在hdp1节点上,需要将hdp1节点上的数据同步到hdp2节点上,因为hdp1节点和hdp2节点是ha,这里我直接复制:
scp -r /hadoop/data hdp2:/hadoop
10> 在cdh1节点上格式化ZK
格式化ZK:hdfs zkfc -formatZK
11> 在cdh1节点上启动HDFS
cd /cloud/hadoop/sbin目录下
启动HDFS:start-dfs.sh
12> 在cdh3节点上启动YARN
cd /hadoop/hadoop2.8.0/sbin目录下
启动YARN:start-yarn.sh
13> 验证namenode
验证cdh1节点上的NameNode:jps或者http://cdh1:50070
验证cdh2节点上的NameNode:jps或者http://cdh2:50070
验证cdh3节点上的YARN:jps或者http://cdh3:8088/
到这,hadoop的高可用集群已经搭建好了,有兴趣的可以仔细看看搭建过程
补充:各节点的启动进程 (jps看)
转载于:https://www.cnblogs.com/huhongy/p/10942121.html
hadoop2.8 ha 集群搭建相关推荐
- Hadoop-2.8.5的HA集群搭建
一.Hadoop HA 机制的学习 1.1.Hadoop 2.X 的架构图 2.x版本中,HDFS架构解决了单点故障问题,即引入双NameNode架构,同时借助共享存储系统来进行元数据的同步,共享存储 ...
- linux centos7 hadoop2.7.7HA集群搭建
此搭建过程通过xshel远程连接操作 ssh免密登录 linux cetos7 配置三个节点配置ssh免密登录 (最简便)_Lost Contral的博客-CSDN博客 zookeeper搭建 lin ...
- 7.HDFS之——NameNode的概述、自动Name的概述、NameNode HA 集群搭建
7.HDFS NameNode HA 7.1 NameNode HA概述 所谓HA(High Availablity [əˌveɪlə'bɪləti] ),即高可用(7x24小时服务不中断).通过主备 ...
- 深入浅出学大数据(五)Hadoop再探讨High Availability(HA)集群搭建及YARN原理介绍
大家好,我是不温卜火,昵称来源于成语-不温不火,本意是希望自己性情温和.作为一名互联网行业的小白,博主写博客一方面是为了记录自己的学习过程,另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样 ...
- Hadoop-2.8.0集群搭建、hadoop源码编译和安装、host配置、ssh免密登录、hadoop配置文件中的参数配置参数总结、hadoop集群测试,安装过程中的常见错误
25. 集群搭建 25.1 HADOOP集群搭建 25.1.1集群简介 HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起 HDFS集群: 负责海量数据 ...
- Hadoop2.6.5集群搭建
一. Hadoop的分布式模型 Hadoop通常有三种运行模式:本地(独立)模式.伪分布式(Pseudo-distributed)模式和完全分布式(Fully distributed)模式. 安装完成 ...
- spark ui的访问地址_Spark篇之HA集群搭建
一.下载Spark安装包 可以从官网下载,本集群选择的版本是spark-1.6.0-bin-hadoop2.6 二.部署和规划Spark集群 提前准备好四台虚拟主机,三台主机 node1 node2 ...
- eureka注册中心HA集群搭建
今天我们讲一下高可用的eureka注册中心(eureka server cluster) SpringCloud支持Eureka.Zookeeper.Consul作为注册中心,这里我们选择Eureka ...
- Hadoop分布式高可用HA集群搭建笔记(含Hive之构建),java高级架构师视频
| HOSTNAME | IP | 操作系统 | | - | - | - | | masterndoe | 192.168.122.128 | Manjaro 20.1 | | slavenode1 ...
最新文章
- jquery+javascript触发a标签的点击事件
- mysqlimport
- loadrunner 录制 odbc 迭代出现lrd_db_option: ERROR, return-code=LRDE2009错误
- TableCellRenderer和TableCellEditor(一)
- mysql中xml类型_使用 SQLXML 数据类型
- 运行war包的命令及linux下实时查看日志
- 猫大叫,鼠速逃,人醒了
- 如何在CSDN博客中的所贴的代码进行【代码块】显示
- MySQL查询执行的基础——查询优化处理
- Java面试 - HashMap的底层实现,之后会问ConcurrentHashMap的底层实现
- 如何用pdb命令调试python代码
- linux的abrt目录满了,linux:abrt-cli list
- 20个开发人员非常有用的Java功能代码(一)
- VMware虚拟机里如何改硬盘型号躲避防封检测
- 用python解决放苹果问题_放苹果
- NW.js开发环境搭建
- ubb html编辑器,GitHub - ibone/ubb-editor: web编辑器
- T1商贸宝加密狗相关配置
- coward的个人简介
- Android各个版本特性简介