本文档介绍了如何设置和配置单节点Hadoop安装，以便您可以使用Hadoop MapReduce和Hadoop分布式文件系统（HDFS）快速执行简单的操作。

先决条件

支持平台

支持GNU / Linux作为开发和生产平台。Hadoop已在具有2000个节点的GNU / Linux集群上进行了演示。
Windows也是受支持的平台，但是以下步骤仅适用于Linux。

必备软件

Linux所需的软件包括：

必须安装Java™。HadoopJavaVersions中描述了推荐的Java版本。
必须安装ssh并且sshd必须正在运行才能使用管理远程Hadoop守护程序的Hadoop脚本。

安装步骤

如果您的群集没有必需的软件，则需要安装它。

例如在CentOS Linux上：

[root@centos001 ~]# sudo yum install ssh -y
[root@centos001 ~]# sudo yum install rsync -y

注意：三台服务器必须是安装了jdk的（没有安装的小伙伴也不用慌张，请看我上一期文章）

下载和上传

要获得Hadoop发行版，请从其中一个Apache Download Mirrors下载最新的稳定版本。

创建software目录用于上传软件安装包。

[root@centos001 ~]# mkdir /opt/software

通过xftp工具将Hadoop发行版上传至服务器的 /opt/software/目录下。

准备启动Hadoop集群

解压缩下载的Hadoop发行版。在发行版中，编辑文件etc/hadoop/hadoop-env.sh来定义一些参数，如下所示：

[root@centos001 ~]# mkdir /usr/apps
[root@centos001 ~]# tar -zxvf /opt/software/hadoop-2.7.2.tar.gz -C /usr/apps/

查看是否解压完整

[root@hadoop001 software]# cd /usr/apps/
[root@hadoop001 apps]# ls
hadoop-2.7.2 jdk
[root@hadoop001 apps]# cd hadoop-2.7.2/
[root@hadoop001 hadoop-2.7.2]# ls
bin include libexec NOTICE.txt sbin
etc lib LICENSE.txt README.txt share

修改hadoop目录名

[root@hadoop001 apps]# mv /usr/apps/hadoop-2.7.2/ /usr/apps/hadoop

配置环境变量

[root@hadoop001 apps]# cd hadoop/
[root@hadoop001 hadoop]# pwd #查看当前路径
/usr/apps/hadoop
[root@hadoop001 hadoop]# vi /etc/profile

#HADOOP_HOME#
export HADOOP_HOME=usr/apps/hadoop #注意自己的路径
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

[root@hadoop001 hadoop]# source /etc/profile

验证hadoop

[root@hadoop001 hadoop]# hadoop version

hadoop配置

1. [root@hadoop001 /]# cd /usr/apps/hadoop/etc/hadoop/
2. [root@hadoop001 hadoop]# vi hadoop-env.sh（修改第25行）
-- export JAVA_HOME=/usr/apps/jdk/ #注意自己的jdk路径，按Esc在set nu 回车可以显示序号

3. [root@hadoop001 hadoop]# vi yarn-env.sh（第23行，放开注释进行修改）
-- export JAVA_HOME=/usr/apps/jdk/

4. [root@hadoop001 hadoop]#vi core-site.xml
   <configuration>
   
           <property>
                   <name>fs.defaultFS</name>
                   <value>hdfs://hadoop001:9000</value> #注意自己的自己名
           </property>
           <property>
                   <name>hadoop.tmp.dir</name>
                   <value>/usr/apps/hadoop/tmp</value>
           </property>
   </configuration>

5. [root@hadoop001 hadoop]#vi hdfs-site.xml
   <configuration>
       
       <property>
           <name>dfs.replications</name>
           <value>3</value>
       </property>
       
       <property>
           <name>dfs.namenode.secondary.http-address</name>
           <value>hadoop002:50090</value>
       </property>
   </configuration>

6.[root@hadoop001 hadoop]# mv mapred-site.xml.template mapred-site.xml

[root@hadoop001 hadoop]#vi mapred-site.xml（重命名）
   <configuration>
       <property>
           <name>mapreduce.framework.name</name>
           <value>yarn</value>
       </property>
   </configuration>

7. [root@hadoop001 hadoop]#vi yarn-site.xml
   <configuration>
       <property>
               <name>yarn.resourcemanager.hostname</name>
               <value>hadoop003</value>
           </property>
           <property>
               <name>yarn.nodemanager.aux-services</name>
               <value>mapreduce_shuffle</value>
           </property>
   </configuration>

8.[root@hadoop001 hadoop]# vi slaves
   hadoop01
   hadoop02
   hadoop03

将配置好的，环境变量，jdk，hadoop复制给hadoop002和hadoop0003

[root@hadoop001 apps]# scp -r /usr/apps/jdk root@192.168.159.132:/usr/apps/

注意hadoop002要有apps这个目录，没有就用mkidr apps创建hadoop003同样

[root@hadoop001 apps]# scp -r /usr/apps/jdk root@192.168.159.133:/usr/apps/
[root@hadoop001 apps]# scp -r /usr/apps/hadoop/ root@192.168.159.133:/usr/apps/

[root@hadoop001 apps]# scp -r /etc/profile root@192.168.159.132:/etc/profile

[root@hadoop001 apps]# scp -r /etc/profile root@192.168.159.133:/etc/profile

注意：自己的ip和文件路径

注意查看是否复制成功

[root@hadoop002 apps]# source /etc/profile

[root@hadoopoo3 apps]# source /etc/profile

hadoop运行测试

先关闭防火墙

[root@hadoopoo3 /]# systemctl stop firewalld

[root@hadoopoo3 /]# systemctl disable firewalld

1. 格式化 HDFS（初次安装需要才执行）
hadoop namenode -format （第一台执行）

2.启动 Hadoop 守护进程
-- 在第一台执行 start-dfs.sh
-- 在第三台执行 start-yarn.sh

3.jps 命令检查Hadoop守护进程是否启动成功

[root@hadoopoo3 /]# jps
   -- 第一台守护进程有
       Namenode,DataNode
       NodeManager
   -- 第二台守护进程有
       SecondaryNameNode,DataNode
       NodeManager
   -- 第三台守护进程有
       DataNode
       ResourceManager,NodeManager

4.运行测试 Hadoop
-- 在浏览器输入 192.168.xx.x:50070（第一台IP地址）

-- 在浏览器输入 192.168.xx.x:8088（第三台IP地址）

5.在命令行执行 WordCount 案例
   -- hadoop fs -mkdir /input
   -- hadoop fs -put /etc/profile /input
   -- cd /opt/apps/hadoop/（自己的目录）
   -- bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /input/profile /output

7. mkdir: Cannot create directory /input. Name node is in safe mode.
-- hadoop dfsadmin -safemode leave

8.关闭守护进程
-- stop-dfs.sh（第一台执行）

-- stop-yarn.sh（第三台执行）

注意事项：
   1. 如果第一步格式化 HDFS 失败,执行以下命令后重新格式化
       -- rm -rf /opt/apps/hadoop/tmp
   2. 如果第 3 步缺失守护进程，请重新执行第 2 步
   3. 如果第 4 步无法正常访问网址，请检查 Linux 防火墙是否关闭
       -- systemctl stop firewalld
       -- systemctl disable firewalld

这就完毕了，是不是很简单，有兴趣可以加QQ群：1011197972一起学习

Hadoop 三节点集群搭建相关推荐

01.三节点集群搭建--VM配置
1.下载CentOS7 1.百度搜索centos–>2.点击centos官网连接–>3.点击DVD ISO–>4.点击http://ap.stykers.moe/centos/7.6 ...
docker（十五）：docker-swarm三节点集群搭建
一.使用vagrant搭建三台centos7虚拟机 1.VagrantFile --------------------------- # -*- mode: ruby -*- # vi: set f ...
hadoop分布式集群搭建
hadoop集群搭建前的准备(一定要读):https://blog.51cto.com/14048416/2341450 hadoop分布式集群搭建: 1. 集群规划: 2.具体步骤: (1)上传安装 ...
etcd mysql集群_Etcd单节点扩容为三节点集群
Etcd单节点扩容为三节点集群参考文档 http://www.cnblogs.com/breg/p/5728237.html 开始环境是单节点,存储数据一段时间后发现需要集群高可用环境,幸亏etcd ...
Hadoop分布式集群搭建以及案例运行-fs操作
Hadoop分布式集群搭建案例步骤(也可以叫分布式文件系统) 一:创建分布式集群环境二:设置静态ip以及主机名与映射关系三:创建用户.配置SSH无密登录四:子机dn操作五:配置主机jdk.ha ...
Hadoop/Spark集群搭建图文全攻略
Hadoop/Spark集群搭建图文全攻略一.安装VMware 二.创建Linux虚拟机三.CentOS-7安装四.Linux系统环境配置五.其他配置六.虚拟机克隆七.jdk安装八.Zo ...
【转】Hadoop分布式集群搭建hadoop2.6+Ubuntu16.04
https://www.cnblogs.com/caiyisen/p/7373512.html 前段时间搭建Hadoop分布式集群,踩了不少坑,网上很多资料都写得不够详细,对于新手来说搭建起来会遇到很 ...
Hadoop分布式集群搭建hadoop2.6+Ubuntu16.04
前段时间搭建Hadoop分布式集群,踩了不少坑,网上很多资料都写得不够详细,对于新手来说搭建起来会遇到很多问题.以下是自己根据搭建Hadoop分布式集群的经验希望给新手一些帮助.当然,建议先把HDFS ...
Hadoop分布式集群搭建完全详细教程
Hadoop分布式集群环境搭建步骤如下实验环境: 系统:win7 内存:8G(因要开虚拟机,内存建议不低于8G) 硬盘:建议固态虚拟机:VMware 12 Linux:Centos 7 jdk1. ...

Hadoop 三节点集群搭建