前言1：

前言2：

一，基础环境

1，三台Centos7.5，一台master，两台slave1和slave2

2，IP配置

3，改主机名

4，配三台主机映射

5，三台主机时钟同步

6，三个节点关防火墙，并开机禁用

7，三台主机互相免密登录

二，Hadoop大数据集群部署

步骤一

步骤二

步骤三

步骤四

步骤五

步骤六

步骤七

三，Hadoop大数据分布式集群的配置

步骤一

步骤二

步骤三

步骤四

步骤五

步骤六

步骤七

步骤八

四，主从节点文件的分发

步骤一

步骤二

步骤三

五，Hadoop集群的启动

1，元数据的格式化

2，组件的启动

3，使用网页形式查看

后言

———————————————————————————————————————————

前言1：

推荐用MobaXterm_20.0这个软件去远程连接你的虚拟机，个人感觉这个是挺好用的，特别是它的那个交互同步执行（以下简称多执行），简直好用到爆，做好的事都很方便，熟练使用可节省不少时间，可以点击下面下载汉化版的，谁用谁知道，简直不要太香。

我试了试给大家在这里粘贴链接会推荐受影响使用大家可以去我发布的资源里下载MobaXterm_20.0汉化：

前言2：

下面的命令，如果不知道在哪个节点敲的，统一声明一下代码前没有标注的都事master节点，slave1和slave2节点的我都在代码前标注了，另外，以下每段代码，我都附上了成功后的截图，以供大家搭建参考。

一，基础环境

1，三台Centos7.5，一台master，两台slave1和slave2

2，IP配置

ip a

ip a

ip a

3，改主机名

hostnamectl set-hostname master && bash

hostnamectl set-hostname slave1 && bash

hostnamectl set-hostname slave2 && bash

4，配三台主机映射

注：这里就可以用这个远程软件提供的多执行窗口，简单快捷，谁用谁知道，太香了。

vi /etc/hosts

192.168.100.80 master
192.168.100.90 slave1
192.168.100.100 slave2

5，三台主机时钟同步

注：如果你是克隆的话这一步就可以不做，就像我的这个一样直接略过，也可以按如下配置。

可以用远程软件的交互执行同时操作以完成

三个节点同时敲（用多执行窗口）

yum install ntpdate -y
ntpdate ntp1.aliyun.com
date

6，三个节点关防火墙，并开机禁用

用多执行窗口

systemctl stop firewalld
systemctl disable firewalld
systemctl status firewalld

7，三台主机互相免密登录

注：这里需要三个节点先去创建一个hadoop的用户，并设置密码，然后使用hadoop用户去做免密，因为后边好多操作都是以hadoop用户的身份实现的。

用多执行窗口

useradd hadoop
passwd hadoop
000000
000000
su hadoop
ssh-keygen(一路回车)
ssh-copy-id master
ssh-copy-id slave1
ssh-copy-id slave2
ssh slave1
exit

自此基础环境配置完毕。就问你这个功能香不香！！！

二，Hadoop大数据集群部署

步骤一

在master中，创建两个目录，一个/opt/software/存放软件，一个/usr/local/src/安装软件

mkdir /opt/software
mkdir /usr/local/src/

步骤二

将jdk和hadoop的压缩包上传到/opt/software目录下，可以从我发布的资源里下载到两个压缩包，这里就不贴链接了，直接上传即可。

步骤三

上传完成后，解压到/usr/local/src/hadoop和/usr/local/src/jdk下，并通过mv命令改名，使其简单明了

tar -zxvf /opt/software/hadoop-2.7.1.tar.gz -C /usr/local/src/
mv /usr/local/src/hadoop-2.7.1 /usr/local/src/hadoop
tar -zxvf  /opt/software/jdk-8u152-linux-x64.tar.gz -C /usr/local/src
mv /usr/local/src/jdk1.8.0_152/ /usr/local/src/jdk

步骤四

并修改所属用户和组确保可为hadoop用户所用

chown -R hadoop:hadoop /usr/local/src/hadoop
chown -R hadoop:hadoop /usr/local/src/jdk

步骤五

配置环境变量使jdk和hadoop生效

vi /etc/profile

export JAVA_HOME=/usr/local/src/jdk export JRE HOME=/usr/local/src/jdk/jre
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/Lib:$JRE_HOME/Lib export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export HADOOP_HOME=/usr/local/src/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

步骤六

使环境变量生效

source /etc/profile

步骤七

检测jdk和hadoop是否安装成功

java -version
hadoop version

三，Hadoop大数据分布式集群的配置

注：上面我们在master节点装好了jdk和hadoop，可是我们的另外两个从节点也需要jdk和hadoop，所以我们要分发到两个从节点，在此之前需要先做如下配置。

步骤一

修改文件

cd /usr/local/src/hadoop/etc/hadoop

vi core-site.xml

<configuration><property><name>fs.defaultFS</name><value>hdfs://master:9000</value></property><property><name>hadoop.tmp.dir</name><value>file:/usr/local/src/hadoop/tmp</value></property>
</configuration>

步骤二

修改文件

vi hadoop-env.sh

export JAVA_HOME=/usr/local/src/java
export HADOOP_PERFIX=/usr/local/src/hadoop
export HADOOP_OPTS="-Djava.library.path=$HADOOP_PERFIX/lib:$HADOOP_PERFIX/lib/natice"

步骤三

修改文件

 vi hdfs-site.xml

<configuration><property><name>dfs.namenode.name.dir</name><value>file:/usr/local/src/hadoop/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/usr/local/src/hadoop/dfs/data</value></property><property><name>dfs.replication</name>   <value>3</value> </property>
</configuration>

步骤四

修改文件

cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>master:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>master:19888</value></property>
</configuration>

步骤五

修改文件

vi yarn-site.xml

<configuration><property><name>yarn.resourcemanager.address</name><value>master:8032</value></property><property><name>yarn.resourcemanager.scheduler.address</name><value>master:8030</value></property><property><name>yarn.resourcemanager.resource-tracker.address</name><value>master:8031</value></property><property><name>yarn.resourcemanager.admin.address</name><value>master:8033</value></property><property><name>yarn.resourcemanager.webapp.address</name><value>master:8088</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property>
</configuration>

步骤六

修改文件

vi masters

master

步骤七

修改文件

vi slaves

slave1
slave2

步骤八

创建目录

mkdir -p /usr/local/src/hadoop/dfs/name
mkdir -p /usr/local/src/hadoop/dfs/data
mkdir -p /usr/local/src/hadoop/tmp

自此，分布式集群的配置完成

四，主从节点文件的分发

步骤一

分发hadoop目录，改所属用户和组

scp -r /usr/local/src/ root@slave1:/usr/local/src/
scp -r /usr/local/src/ root@slave2:/usr/local/src/

slave1和slave2

chown -R hadoop:hadoop /usr/local/src

步骤二

分发环境变量，并生效

scp -r /etc/profile root@slave1:/etc/
scp -r /etc/profile root@slave2:/etc/

slave1和slave2 节点

 source /etc/profile

步骤三

多窗口执行，检测每个节点是否成功

java -version
hadoop version

每个节点都一样，才是成功。

五，Hadoop集群的启动

1，元数据的格式化

多执行窗口

su hadoop
source /etc/profile

master节点

hdfs namenode -format

2，组件的启动

master节点

start-all.sh

多窗口执行

jps

3，使用网页形式查看

192.168.100.80:50070

192.168.100.80:8088

192.168.100.80:9000

后言

自此，一个Hadoop分布式大数据平台搭建完成，感谢观看，欢迎点赞，评论，提问，转发，不足之处，还请多多指教。

高可用的分布式Hadoop大数据平台搭建，超详细，附代码。相关推荐

大数据基础——Hadoop大数据平台搭建
文章目录前言 Hadoop大数据平台搭建一．Hadoop原理和功能介绍二．Hadoop安装部署三．Hadoop常用操作总结前言分布式机器学习为什么需求大数据呢?随着海量用户数据的积累,单 ...
Hadoop大数据平台搭建课程笔记
课程介绍大数据基本介绍 4V特征体量大:体量庞大高速:数据产生速度快.存储速度快.处理速度快多样化:数据的种类和来源多样化.结构化.非结构化.半结构化数据价值:密度低.体量庞大,有价值的数据 ...
Hadoop大数据平台搭建(一)
虚拟机准备(本节针对于初学者) vmawre.xshell.centos7镜像及搭建包自提地址已放在评论区. 目录虚拟机准备(本节针对于初学者) 1.节点规划 2.虚拟机安装 3.启动虚拟机配置网关 ...
Hadoop大数据平台环境搭建注意事项，分布式数据采集，武汉数道云科技
Hadoop大数据作为时代发展的产物,影响着互联网企业发展.以及企业关于品牌形象推广.政府有关民意采集.以及有关数据信息收集分类------ Hadoop技术的发展,带来了海量数据高效处理的能力,也给 ...
Hadoop大数据平台开发与案例分析
关于举办"Hadoop大数据平台开发与案例分析 "高级工程师一.课程介绍 1. 需求理解 Hadoop 设计之初的目标就定位于高可靠性.高可拓展性.高容错性和高效性,正是这些设计 ...
【Hadoop大数据平台组件搭建系列（一）】——Zookeeper组件配置
简介本篇介绍Hadoop大数据平台组件中的Zookeeper组件的搭建使用软件版本信息 zookeeper-3.4.14.tar.gz Zookeeper安装解压Zookeeper安装包至目标目 ...
Hadoop大数据平台安装
实验一:Hadoop大数据平台安装 16281002 杜永坤 1.实验目的在大数据时代,存在很多开源的分布式数据采集.计算.存储技术,本实验将熟悉并搭建几种常用的大数据采集.处理分析技术环境. &l ...
hadoop大数据平台架构之DKhadoop详解
hadoop大数据平台架构之DKhadoop详解大数据的时代已经来了,信息的爆炸式增长使得越来越多的行业面临这大量数据需要存储和分析的挑战.Hadoop作为一个开源的分布式并行处理平台,以其高拓展. ...
高可用,完全分布式Hadoop集群HDFS和MapReduce安装配置指南
原文:http://my.oschina.net/wstone/blog/365010#OSC_h3_13 (WJW)高可用,完全分布式Hadoop集群HDFS和MapReduce安装配置指南 [X] ...
初识大数据--Hadoop大数据平台架构与实践
Hadoop大数据平台架构与实践推荐书籍: ⭐大数据存储与处理技术的原理(理论) ⭐Hadoop的使用和开发能力(实践) 预备知识: Linux常用命令 Java基础编程 1.大数据相关概念无 ...

高可用的分布式Hadoop大数据平台搭建，超详细，附代码。

前言1：

前言2：

一，基础环境

1，三台Centos7.5，一台master，两台slave1和slave2

2，IP配置

3，改主机名

4，配三台主机映射

5，三台主机时钟同步

6，三个节点关防火墙，并开机禁用

7，三台主机互相免密登录

二，Hadoop大数据集群部署

步骤一

步骤二

步骤四

步骤五

步骤六

步骤七

三，Hadoop大数据分布式集群的配置

步骤一

步骤二

步骤三

步骤四

步骤五

步骤六

步骤七

步骤八

四，主从节点文件的分发

步骤一

步骤二

步骤三

五，Hadoop集群的启动

1，元数据的格式化

2，组件的启动

3，使用网页形式查看

后言

高可用的分布式Hadoop大数据平台搭建，超详细，附代码。相关推荐

最新文章

热门文章