Hadoop集群搭建（详细简单粗暴）

搭建所用Hadoop java版本

hadoop-3.1.3.tar.gz

jdk-8u212-linux-x64.tar.gz

安装包链接：Hadoop及jdk安装包提取码：icn6

首先，我们先下载并且安装好虚拟机准备好三台机器

主机名	ip地址
master	192.168.45.110
salve1	192.168.45.111
salve2	192.168.45.112

集群按以下要求修改相应配置文件

master

salve1

salve2

HDFS

NameNode

DataNode

SecondNameNode

DataNode

YARN

NodeManager

ResourceManger

NodeManager

NodeManger

#1、安装网络调试工具

yum install vim -y

yum install wget -y

yum install net-tools -y

#2、设置开机禁用防火墙

systemctl stop firewalld

systemctl disable firewalld

#3、分别修改主机名称

vim /etc/hostname

#主机1：master

#主机2：salve1

#主机3：salve2

#4、修改域名映射

vim /etc/hosts

192.168.45.110 haster

192.168.45.111 salve1

192.168.45.112 salve2

#5、创建student用户

useradd stu

passwd stu 密码设置为123456

为用户stu添加sudo权限

vim /etc/sudoers

在# %wheel ALL=(ALL) NOPASSWD: ALL下面添加

stu ALL=(ALL) NOPASSWD:ALL

#6、创建文件夹用来放置我们的安装包

cd /opt

mkdir module/ software/

ls一下查看创建是否成功

我们将hadoop-3.1.3.tar.gz jdk-8u212-linux-x64.tar.gz安装包上传至/opt/software目录

接下来解压hadoop以及java安装包至module下

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module

tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module

#7,添加java，Hadoop环境变量

cd /etc/profile.d

vim my_env.sh //创建java环境变量

#JAVA_HOME export JAVA_HOME=/opt/module/jdk1.8.0_212 export PATH=$PATH:$JAVA_HOME/bin

source /etc/profile //重新加载profile 使配置生效

java -version // 查看java验证环境变量是否正确

同样在my_env.sh中添加hadoop环境变量

#HADOOP_HOME export HADOOP_HOME=/opt/module/hadoop-3.1.3 export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin

source /etc/profile //重新加载profile 使配置生效

hadoop version //验证环境变量是否正确

chown -R stu:stu /opt //给stu用户增加权限

切换至stu用户

su stu

#验证

echo $JAVA_HOME

echo $HADOOP_HOME

#8设置ssh免密登录

cd ~
mkdir .ssh # 创建ssh目录
chmod 700 .ssh # 设置ssh目录权限

# stu账号，非root账号
cd .ssh
ssh-keygen -t rsa # 生成rsa公钥和私钥
ssh-copy-id master
ssh-copy-id salve1
ssh-copy-id salve2

//互相验证一下是否配置成功

#9，hadoop配置文件

##使用stu用户登录

##配置dfs与yarn

## 修改配置文件

cd $HADOOP_HOME/etc/hadoop

# 核心配置文件，指定NameNode的地址、指定hadoop数据的存储目录、配置HDFS网页登录使用的静态用户

vim core-site.xml

<configuration>
<property><name>fs.default.name</name><value>hdfs://master:8020</value></property><property><name>hadoop.tmp.dir</name><value>/opt/module/hadoop-3.1.3/data</value></property>
</configuration>

# yarn配置文件，

vim yarn-site.xml

<configuration><!-- Site specific YARN configuration properties -->
<!-- 指定MR走shuffle --><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><!-- 指定ResourceManager的地址--><property><name>yarn.resourcemanager.hostname</name><value>salve1</value></property><!-- 环境变量的继承 --><property><name>yarn.nodemanager.env-whitelist</name><value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value></property><!-- 开启日志聚集功能 --><property><name>yarn.log-aggregation-enable</name><value>true</value></property><!-- 设置日志聚集服务器地址 --><property><name>yarn.log.server.url</name><value>http://master:19888/jobhistory/logs</value></property><!-- 设置日志保留时间为 7 天 --><property><name>yarn.log-aggregation.retain-seconds</name><value>604800</value></property>
</configuration>

#配置MapReduce配置文件

vim mapred-site.xml

<!-- 指定MapReduce程序运行在Yarn上 --><property><name>mapreduce.framework.name</name><value>yarn</value></property><!-- 历史服务器端地址 --><property><name>mapreduce.jobhistory.address</name><value>salve1:10020</value></property>
<!-- 历史服务器 web 端地址 --><property><name>mapreduce.jobhistory.webapp.address</name><value>salve1:19888</value></property>

# HDFS配置文件，指定NodeNode的http访问端口与SecondaryNameNode的http访问端口

vim hdfs-site.xml

<configuration>
<!-- NameNode web端访问地址--><property><name>dfs.namenode.http-address</name><value>master:9870</value></property><!-- SecondaryNameNode web端访问地址--><property><name>dfs.namenode.secondary.http-address</name><value>salve2:9868</value></property>
</configuration>

# 编辑workers文件

vim workers

master
salve1
salve2

到此我们的master主机已经配置完成。

#10，接下来我们写几个搭配集群的脚本

##创建xsync集群同步脚本、myhadoop.sh启动脚本、jpsall查看脚本（放到usr/local/bin目录下）

#xsync集群同步脚本

cd /usr/local/bin

sudo vim xsync

#!/bin/bashif [ $# -lt 1 ]
thenecho Not Enough Arguement!exit;
fifor host in master salve1 salve2
doecho =================== $host =======================for file in $@doif [ -e $file ]thenpdir=$(cd -P $(dirname $file);pwd)fname=$(basename $file)ssh $host "mkdir -p $pdir"rsync -av $pdir/$fname $host:$pdirelseecho $file does not exist!fidone
done

#集群启动/结束脚本

sudo vim myhadoop.sh

#!/bin/bashif [ $# -lt 1 ]
thenecho "No Args Input..." exit ;
ficase $1 in
"start")echo " =================== 启动 hadoop 集群 ==================="echo " --------------- 启动 hdfs   "ssh master "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh" echo " --------------- 启动 yarn "ssh salve1 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh" echo " --------------- 启动 historyserver   "ssh master "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")echo " =================== 关闭 hadoop 集群 ==================="echo " --------------- 关闭 historyserver   "ssh master "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"echo " --------------- 关闭 yarn "ssh salve1 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh" echo " --------------- 关闭 hdfs "ssh master "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)echo "Input Args Error. "
;;
esac

#查看所有节点脚本

sudo vim jpsall

#!/bin/bashfor host in master salve1 salve2
doecho =============== $host ===============  ssh $host jps
done

#到此脚本配置结束。接下来我们利用xsync同步脚本将master主机中所有的配置以及文件传至salve1 salve2

xsync ./ # 集群配置文件同步（根目录下所有文件）

静等完成。然后我们查看下salve1 salve2 是否同步成功先看下/optm目录下存放的jdk以及hadoop文件是否存在，在看下java版本和hadoop版本。然后hadoop的配置文件依次都查看下。

在salve1以及salve2分别都查看下

java -version

我的显示不存在这里我们去看一下java的环境变量是否配置

cd /etc/profile.d/

vim my_env.sh

发现没有配置java，Hadoop环境变量，添加路径

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

source my_env.sh

再来查看下是否成功

所有配置都要检查一下以防出现同步未及时。

接下来我们可以启动我们的集群了。

#11，集群启动~~~~~

# master上面操作

hdfs namenode -format # HDFS格式化

myhadoop.sh start 然后jpsall一下

显然我们所有节点都已经提起来了。接下来打开浏览器输入自己的master主机IP后面加上：9870来验证一下是否搭建成功

到此我们的集群搭建完毕。

Hadoop集群搭建（详细简单粗暴）相关推荐

3台机器配置hadoop集群_Hadoop学习之路（三）Hadoop集群搭建和简单应用
概念了解主从结构:在一个集群中,会有部分节点充当主服务器的角色,其他服务器都是从服务器的角色,当前这种架构模式叫做主从结构. 主从结构分类: 1.一主多从 2.多主多从 Hadoop中的HDFS和Y ...
教程 | Hadoop集群搭建和简单应用
这是小小本周的第一篇,我是小小,开更本周的第一篇,本篇将会介绍Hadoop集群的简单搭建和简单应用. 概念了解主从结构:在一个集群众,会有部分节点充当主节点的角色,其他服务器都是从节点的角色,当前这 ...
Hadoop集群搭建详细步骤大全
0- Hadoop运行环境搭建 1.1,安装虚拟机 1)安装虚拟机 IP地址192.168.10.100.主机名称hadoop100,4G.硬盘50G (安装vm和光盘,注意放在内存大的硬盘上) (1 ...
Hadoop集群搭建（超级超级详细）
Hadoop集群搭建(超级超级详细) 1.集群规划安装VMware,使用三台 Ubuntu18.04 虚拟机进行集群搭建,下面是每台虚拟机的规划: 主机名 IP 用户 HDFS YARN hadoo ...
Hadoop集群搭建教程（详细）
需要的安装包: 1.jdk压缩包 2.hadoop压缩包请前往百度云上上下载相关安装包(密码:8op1) 开始搭建hadoop集群一.使用VMvare创建两个虚拟机,我使用的是ubuntu16.0 ...
Hadoop集群搭建（超详细）
Hadoop三大公司 apache hortonWorks Cloudera 星环科技(国内) Hadoop的模块组成 HDFS:一个高可靠.高吞吐量的分布式文件系统. MapReduce:一个分布式 ...
Hadoop详解(五)——ZooKeeper详解，ZooKeeper伪分布搭建和集群搭建，Hadoop集群搭建，sqoop工具的使用
ZooKeeper简介什么是ZooKeeper? ZooKeeper是Google的Chubby一个开源的实现,是Hadoop分布式协调服务. 它包含了一个简单的原语集,分布式应用程序可以基于它实现 ...
环境搭建-Hadoop集群搭建
环境搭建-Hadoop集群搭建写在前面,前面我们快速搭建好了centos的集群环境,接下来,我们就来开始hadoop的集群的搭建工作实验环境 Hadoop版本:CDH 5.7.0 这里,我想说一下 ...
好程序员大数据笔记之：Hadoop集群搭建
好程序员大数据笔记之:Hadoop集群搭建在学习大数据的过程中,我们接触了很多关于Hadoop的理论和操作性的知识点,尤其在近期学习的Hadoop集群的搭建问题上,小细节,小难点拼频频出现,所以,今天 ...
linux hadoop集群搭建,hadoop集群搭建
hadoop集群搭建步骤实验介绍下面将要在三台linux虚拟机上搭建hadoop集群. 知识点 linux基本命令集群安装完成实验需要以下相关知识解压命令 tar -zxvf XX.tar. ...

Hadoop集群搭建（详细简单粗暴）

Hadoop集群搭建（详细简单粗暴）相关推荐

最新文章

热门文章