加入MapReduce后完全分布式集群搭建

2024-04-16 06:40:44

节点规划表

1. hadoop03和hadoop04相互免秘钥(即两个resourcemanager主备免秘钥)

自我检测一下（不需要输密码证明自我免秘钥成功）

将hadoop03的公钥远程传递给hadoop04

到hadoop04查看

将hadoop03的公钥追加到日志文件

到hadoop03检测是否成功对hadoop04免秘钥

接下来让hadoop04对hadoop03免秘钥

自我检验：

将hadoop04的公钥远程传递给hadoop03

到hadoop03查看

将hadoop04公钥追加到日志文件

到hadoop04检测是否成功对hadoop03免秘钥

2.配置信息（本来hadoop01不需要配，但是为了快，就都配了，反正不影响）

mapred-site.xml

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

先拷贝一份mapred-site.xml

配置mapred-site.xml

配置yarn-site.xml

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.resourcemanager.ha.enabled</name>

<value>true</value>

</property>

<property>

<name>yarn.resourcemanager.cluster-id</name>

<value>cluster1</value>

</property>

<property>

<name>yarn.resourcemanager.ha.rm-ids</name>

<value>rm1,rm2</value>

</property>

<property>

<name>yarn.resourcemanager.hostname.rm1</name>

<value>hadoop03</value>

</property>

<property>

<name>yarn.resourcemanager.hostname.rm2</name>

<value>hadoop04</value>

</property>

<property>

<name>yarn.resourcemanager.zk-address</name>

<value>hadoop02:2181,hadoop03:2181,hadoop04:2181</value>

</property>

远程定向这两个文件到hadoop02-4

3.配置完后就可以启动整个集群了（下面是最快的启动方式）

（1）zkServer.sh start（一次性全部执行）

（2）hadoop01：start-all.sh

（3）hadoop03、hadoop04

yarn-daemon.sh start resourcemanager

4. 检测启动的进程

hadoop01(NameNode、ZKFC、JournalNode、Java都启动)

hadoop02（NameNode、ZKFC、JournalNode、DataNode、NodeManager、ZooKeeper、Java都启动）

hadoop03（ResourceManager、JournalNode、DataNode、NodeManager、ZooKeeper、Java都启动）

hadoop04（ResourceManager、DataNode、NodeManager、ZooKeeper、Java都启动）

5.在web浏览

hadoop03:8088

再启动hadoop04：

发现又跳到了hadoop03

至此我们整个hadoop集群搭建完成。

加入MapReduce后完全分布式集群搭建相关推荐

Hadoop-HDFS详解与HA，完全分布式集群搭建(细到令人发指的教程)
前言本篇篇幅较长,有许多集群搭建干货,和枯燥乏味但是面试可能问到的理论知识. 思来想去不知道怎样才能鼓励自己加油学习,想想要面对的生活还是假吧意思打开学习视频吧. 目录一.引入 hdfs是什么 h ...
Hadoop分布式集群搭建以及案例运行-fs操作
Hadoop分布式集群搭建案例步骤(也可以叫分布式文件系统) 一:创建分布式集群环境二:设置静态ip以及主机名与映射关系三:创建用户.配置SSH无密登录四:子机dn操作五:配置主机jdk.ha ...
第二节HDFS完全分布式集群搭建与配置及常见问题总结
提示:此文章内容超级全面和详细文章目录前言一.HDFS完全分布式集群是什么? 二.HDFS完全分布式集群搭建与配置 1.HDFS完全分布式集群搭建库 2.HDFS完全分布式集群搭建配置 HDFS ...
大数据开发·关于虚拟机Hadoop完全分布式集群搭建教程
hadoop完全分布式集群搭建一.搭建准备 1.安装VMware虚拟机 2.Xshell 7 远程客户端及Xftp 7安装 3.搭建模板虚拟机hadoop100 配置虚拟机网络为虚拟机普通用户配置 ...
hadoop2.7.2分布式集群搭建(三台)
hadoop2.7.2分布式集群搭建(三台节点) 系统环境搭建 1.三台节点设置主机名和IP 2.配置主机的映射 3.ssh免密登录 4.关闭防火墙 5.关闭seliunx 6.安装jdk 7.设置n ...
Hadoop完全分布式集群搭建详细图文教程
本文所使用的环境及版本: CentOS Linux release 7.9.2009 (Core) jdk1.8.0_291 hadoop-3.2.2 一.安装模板机 1.安装CentOS 7.9并配 ...
Hadoop完全分布式集群搭建
hadoop本地模式搭建首先准备一台Linux环境的服务器关闭防火墙 # 查看防火墙状态 systemctl status firewalld # 停止防火墙 systemctl stop fire ...
[大数据技术与应用省赛学习记录二]——模块一（HADOOP完全分布式集群搭建）
**在操作前,先梳理一下HADOOP完全分布式需要做些什么,不然像无头的苍蝇一样,永远不知道做什么.因为我本人比赛是一台服务器Centos 7,与三台客户端Ubuntu 18.04,所以以物理机的角度 ...
大数据调度平台Airflow（八）：Airflow分布式集群搭建及测试
目录 Airflow分布式集群搭建及测试一.节点规划二.airflow集群搭建步骤 1.在所有节点安装python3.7 2.在所有节点上安装airflow 三.初始化Airflow 1.每台节点 ...

最新文章

热门文章