Hadoop的安装模式有三种：

1. 本地模式

没有HDFS、只能测试MapReduce

2. 伪分布模式

在单机上模拟一个分布式环境，具备Hadoop的所有功能

3. 全分布模式

准备工作：

1.  四台虚拟机【tanzhou111, tanzhou112, tanzhou113, tanzhou114】

笔者安装的虚拟机系统为： Redhat linux 7 64位， 网卡的类型：仅主机模式（host only），

虚拟的IP地址配置在同一个网段

其中

虚拟机tanzhou111用于搭建Hadoop本地模式；

tanzhou112, tanzhou113, tanzhou114 用于搭建Hadoop伪分布和全分布模式

关闭虚拟机防火墙：

systemctl status firewalld   查看防火墙状态

systemctl stop firewalld     临时关闭防火墙，重启后打开

systemctl disable firewalld   永久关闭防火墙

systemctl enable firewalld   打开防火墙

安装JDK：

介质：  jdk-8u144-linux-x64.tar.gz

配置SSH免密码登陆：

ssh-keygen -t rsa   产生秘钥对， 一路【回车】

ssh-copy-id -i .ssh/id_rsa.pub root@tanzhou111  将公钥拷贝给对方

2. Hadoop的安装介质

介质： hadoop-2.7.3.tar.gz

环境搭建：

一、本地模式

安装在 tanzhou111

解压安装包到安装目录： tar -zxvf hadoop-2.7.3.tar.gz -C ~/training/

设置环境变量： vi ~/.bash_profile
HADOOP_HOME=/root/training/hadoop-2.7.3
export HADOOP_HOME
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export PATH
生效环境变量：source ~/.bash_profile
配置hadoop-env.sh：
export JAVA_HOME=/root/training/jdk1.8.0_144
到此，恭喜Hadoop本地模式安装完毕，可以测试下自带的MapReduce的例子试试
/root/training/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar

二、伪分布模式

安装在tanzhou111

解压安装包到安装目录： tar -zxvf hadoop-2.7.3.tar.gz -C ~/training/

设置环境变量： vi ~/.bash_profile
                 HADOOP_HOME=/root/training/hadoop-2.7.3
                 export HADOOP_HOME

PATH=$HADOOP_HOME/bin$HADOOP_HOME/sbin$PATH
                 export PATH

生效环境变量：source ~/.bash_profile

配置hadoop-env.sh：
                   export JAVA_HOME = / root / training / jdk1.8.0_144

配置hdfs-site.xml：

<!--配置数据块的冗余度-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<!--开启HDFS的权限检查-->
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

配置core-site.xml：

<!--配置NameNode地址-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.126.111:9000</value>
</property>
<!--配置数据在Linux上保存的位置-->
<property>
<name>hadoop.tmp.dir</name>
<value>/root/training/hadoop-2.7.3/tmp</value>
</property>   

配置mapred-site.xml：

<!--MR运行的框架-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>     

配置yarn-site.xml：

<!--yarn的主节点 RM-->
<property>
<name>yarn.resouremanager.hostname</name>
<value>192.168.126.111</value>
</property>
<!--NodeManager运行MR程序方式-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>       
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>192.168.126.111:8088</value>
</property>
对HDFS进行格式化    hdfs namenode -format

到此，恭喜Hadoop伪分布模式安装完毕，可以用命令来启动hadoop服务: start-all.sh   = start-dfs.sh   +   start-yarn.sh

三、全分布模式

安装在tanzhou112，tanzhou113, tanzhou114。 先在主节点tanzhou112上安装：

解压安装包到安装目录： tar -zxvf hadoop-2.7.3.tar.gz -C ~/training/

设置环境变量： vi ~/.bash_profile
                 HADOOP_HOME=/root/training/hadoop-2.7.3
                 export HADOOP_HOME

PATH=$HADOOP_HOME/bin$HADOOP_HOME/sbin$PATH
                 export PATH

生效环境变量：source ~/.bash_profile

注意： 在tanzhou113和tanzhou114上设置相同的环境变量，并生效环境变量。

配置hadoop-env.sh：
                   export JAVA_HOME = / root / training / jdk1.8.0_144

配置hdfs-site.xml：

<!--配置数据块的冗余度-->

<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<!--开启HDFS的权限检查-->
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>   

配置core-site.xml：

<!--配置NameNode地址-->        
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.157.112:9000</value>
</property>
<!--配置数据在Linux上保存的位置-->
<property>
<name>hadoop.tmp.dir</name>
<value>/root/training/hadoop-2.7.3/tmp</value>
</property>

配置mapred-site.xml：

<!--MR运行的框架-->

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>   

配置yarn-site.xml：

<!--yarn的主节点 RM-->

<property>
<name>yarn.resourcemanager.hostname</name>
<value>192.168.157.112</value>
</property>
<!--NodeManager运行MR程序方式-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property> 

配置slaves：

192.168.157.113
192.168.157.114
对HDFS进行格式化    hdfs namenode -format
将主节点tanzhou112上配置好的目录通过SCP命令复制到tanzhou113和tanzhou114上
scp -r hadoop-2.7.3/ root@tanzhou113:/root/training
scp -r hadoop-2.7.3/ root@tanzhou114:/root/training

到此，恭喜Hadoop全分布模式安装完毕，可以在主节点上用命令来启动hadoop服务: start-all.sh   = start-dfs.sh   +   start-yarn.sh

总结：

Hadoop安装，包含了Hdfs和Yarn两个服务

Hdfs为主从结构， 主节点叫NameNode; 从节点叫DataNNode

Yarn为MapReduce程序运行的容器，也为主从结构， 主节点叫ResouceManager; 从节点叫NodeManager

Hdfs启动后，除了会启动NameNode 和 DataNode 进程，  还会启动一个 SecodearyNameNode, 它负责Hdfs日志文件的合并

Hadoop 2.X的安装与配置相关推荐

  1. Hortworks Hadoop 2.4.2安装、配置

    Hortonworks Hadoop 2.4.2安装.配置   1简介 此手册应用于Hortonworks Hadoop(HDP2.4.2)的安装.使用. 1.1  参考资料 http://docs. ...

  2. hadoop 2.5.0安装和配置

    安装hadoop要先做以下准备: 1.jdk,安装教程在 http://www.cnblogs.com/stardjyeah/p/4640917.html 2.ssh无密码验证,配置教程在 http: ...

  3. [Hadoop集群模式安装与配置全过程]红帽子RatHat6下hadoop集群模式安装（3个节点，master,slave1,slave2）

    红帽子RatHat6下hadoop集群模式安装(3个节点,master,slave1,slave2) 一.学习目标: 使用红帽子RatHat6在虚拟机上搭建hadoop集群,包含3个节点,体验集群分布 ...

  4. Hadoop 2.2.0安装和配置lzo

    2019独角兽企业重金招聘Python工程师标准>>> Hadoop经常用于处理大量的数据,如果期间的输出数据.中间数据能压缩存储,对系统的I/O性能会有提升.综合考虑压缩.解压速度 ...

  5. mac 下 hadoop、spark 的安装及配置

    0. 注意安装包的版本及其兼容性 jdk:1.9 及以上尤其对于 scala,很难真正兼容 scala: hadoop: 2.8.0:https://www.cnblogs.com/bigdataZJ ...

  6. 大数据——Hadoop3.1.3安装与配置

    大数据--HADOOP 3.1.3安装与配置 1.检查/etc/hosts中 ip hostname 映射 20.0.0.1 主机名 ip addr hotname 2.本机免密 cd ~ ssh-k ...

  7. Hadoop的安装与配置及示例程序wordcount的运行

    前言 最近在学习Hadoop,文章只是记录我的学习过程,难免有不足甚至是错误之处,请大家谅解并指正!Hadoop版本是最新发布的Hadoop-0.21.0版本,其中一些Hadoop命令已发生变化,为方 ...

  8. Windows下安装Cygwin配置Hadoop集群

    Hadoop集群一般是配置到Linux系统之上,如果电脑用的是Windows系统,那么可以通过虚拟机安装Linux系统或者在Windows上安装Cygwin来模拟Linux环境,从而搭建Hadoop集 ...

  9. Hadoop LZO的安装与配置

    2019独角兽企业重金招聘Python工程师标准>>> Hadoop支持好几种压缩算法,包括: Bzip2 Gzip DEFLATE Hadoop提供这些算法的Java实现,所以可以 ...

最新文章

  1. java openfile busy_android java.io.IOException: open failed: EBUSY (Device or resource busy)
  2. 设计模式之简单工厂模式学习笔记
  3. onclick 传参，用转义符进行转义。
  4. 计算机辅助设计基础学什么,东大计算机辅助设计基础X20秋学期《计算机辅助设计基础》在线平时作业3资料...
  5. 分别用雅可比（Jacobi）迭代法和高斯—塞德尔（Gauss—Seidel）迭代法求解线性方程组(转载)
  6. python中颜色空间直方图_OpenCV—python 颜色空间（RGB，HSV，Lab）与 颜色直方图
  7. EditPlus注册码 亲测最新版可用
  8. 大数据可视化应用在哪些方面
  9. 转载：Windows Mobile 开发资源(精)
  10. Microsoft Office 2008 for Mac Service Pack 1 更新后无法启动程序问题解决方案
  11. 路灯灭了，路灯干扰者经过
  12. 浪潮存储进逼国际一线厂商
  13. 万能网卡驱动程序下载,适用于Win7_Win8.x平台
  14. 新手如何Reverces（3自动化逆向篇）
  15. Android Studio开发环境搭建
  16. 前端日常工作中遇到的问题及解决方案
  17. spring boot + gateway + nacos 网关统一代理
  18. Flan-T5: One Model for ALL Tasks
  19. 用友安装时显示加密服务器,用友云主机指向加密服务器
  20. glut linux 安装包,linux 下glut.h使用

热门文章

  1. 力扣LeetCode-哈希表
  2. 寿星万年历源代码（JAVA/VB NET）
  3. 【转载】发一篇能激励大家拼搏的文章，文中内容属实
  4. 笨方法学python 42课笔记：物以类聚
  5. fastjson 序列化问题：Comparison method violates its general contract
  6. RSCP RSRP RSRQ
  7. 账号升级攻略：每天自动升级b站和网易云音乐，自动签到天翼云盘和百度贴吧...
  8. 把服务器sql数据库导出excel文件,将mysql数据库数据以Excel文件的形式导出
  9. gh-ost封装脚本
  10. R SMOTE 报错 length of 'dimnames' [2] not equal to array extent