红帽子RatHat6下hadoop集群模式安装（3个节点，master,slave1,slave2）

一、学习目标：

使用红帽子RatHat6在虚拟机上搭建hadoop集群，包含3个节点，体验集群分布式。

二、软件需求：

三台虚拟机(这里使用VMware Workstation)、RatHat6版本的安装包

三、实验前提：

每台PC机已装有RatHat6系统，一台机命名为master作为namenode，另两台为slave1和slave2，作为datanode。具体配置如下。

用户名

Host-IP

网关

HostName（互ping时的机器名）

内存

硬盘

HDFS

YARN

对应大数据组件

备注

Master

172.16.24.38

172.16.24.254

master

2

40GB

NameNode

ResourcesManager

集群主节点

Slave01

172.16.24.79

172.16.24.254

slave1

1

20GB

DataNode

NodeManager

计算调度

Slave02

172.16.24.48

172.16.24.254

slave2

1

20GB

DataNode

NodeManager

数据计算节点

四、Hadoop集群模式安装过程：

1 .用root用户设置主机名和IP地址分配（/etc/hosts）

先在master机器上操作后复制到另两台机上

笔记:修改系统文件时需要以root用户登陆

2.继续使用root用户创建一个hadoop账户并为其设置密码，专门负责操作与hadoop相关的业务。（图片以master机为例，另外两台机上做同样操作）

[命令] useradd hadoop

笔记：用root创建用户会自动创建宿主目录

该步骤情况：三台机器都用root创建了hadoop用户（并且已默认创建了hadoop账户的宿主目录）

[命令] passwd hadoop

笔记：刚创建的用户需要用root用户为其设置密码

该步骤情况：现在三台机器都用root设置了hadoop的密码

3.设置三台机器之间的免密码登陆：（使用hadoop用户）

3.1 在master机器上使用hadoop用户生成master机器节点的hadoop账户密钥对。

[命令]ssh-keygen –t rsa

可在~/.ssh下查看生成的密钥对id_rsa和di_rsa.pub

3.2继续在master机器上为slave1和slave2生成各自的密钥对。

[命令]

sshslave1 ssh-keygen –t rsa

sshslave2 ssh-keygen –t rsa

3.3 将所有的公钥文件汇总到master机器上的一个总的授权key文件authorized_keys中

[命令]

scphadoop@slave1:~/.ssh/id_rsa.pub ~/.ssh/slave1.pub

scphadoop@slave2:~/.ssh/id_rsa.pub ~/.ssh/slave2.pub

cat~/.ssh/*.pub > /.ssh/authorized_keys

(查看文件命令)cat ~/.ssh/authorized_keys

3.4出于安全性考虑，将这个授权key文件authorized_keys赋予600权限

[命令]chmod 600 .ssh/authorized_keys

3.5将这个将这个包含了所有互信机器认证authorized_keys认证文件复制到所有节点主机的~/.ssh/目录中，并进行验证互信。

[命令]

scp~/.ssh/authorized_keys hadoop@slave1:~/.ssh

scp~/.ssh/authorized_keys hadoop@slave2:~/.ssh

(测试免密码链接)

ssh slave1

ssh slave2

该步骤情况：现在三台机器已经可以免密码互相登陆

4.Java 的安装与配置

（这里使用版本为jdk1.8）

4.1创建统一管理java和hadoop 的父级目录，位于hadoop用户主目录下/home/hadoop

,如网上教程命名为chadoop

[命令]mkdir ~/chadoop

4.2 解压jdk安装包（之前已使用VMware Tools拉近master机器内）

[命令]

tar zxf jdk安装包名

（在chadoop中创建文件夹java放置jdk解压后的文件）

mkdir ~/chadoop/java

mv jdk解压后的文件名 ~/chadoop/java

4.3修改环境变量（~/.bash_profile）加入JAVA_HOME,CLASSPATH和PATH

使用vi编辑器进行修改，配置后使用 . ~/.bash_profile 立即生效。并使用java –version命令进行检测java是否安装成功.

[命令] vi ~/.bash_profile

[增加配置信息]（由于参考教程同时也配置了hadoop_home的位置，这里也先配置也可安装hadoop后再做对该步骤的hadoop操作）

# JAVA&HADOOP-CONFIGURATION#

exportJAVA_HOME=~/chadoop/java/jdk1.8.0_45

exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

exportHADOOP_HOME=~/chadoop/hadoop/hadoop-2.7.3

exportHADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

exportPATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

[命令]

. ~/.bash_profile

java –version

该步骤情况：现在master机器上已安装好jdk1.8版本。

5.Hadoop的安装与配置

（这里使用版本为hadoop2.7.3）

5.1解压hadoop安装包（同安装java操作一样）

5.2在chadoop文件夹内新建一个hadoop目录用于放置hadoop安装包解压后文件

[命令]

tar zxf hadoop安装包

mkdir ~/chadoop/hadoop

mv hadoop解压后文件 ~/chadoop/Hadoop

5.3创建hadoop相关的tmp目录和dfs目录（以及其下的name和data目录）

[命令]

mkdir~/chadoop/tmp

mkdir-p~/chadoop/dfs/name ~/chadoop/dfs/data

5.4为hadoop配置环境变量（~/.bash_profile）

这一步已在java配置环境变量时操作，具体见4.3.使用hadoop version进行验证hadoop是否安装成功

[命令] hadoop version

该步骤情况：master机器上已成功安装了hadoop2.7.3版本

6.修改hadoop内置文件，配置集群模式

涉及修改文件：core-site.xml,hdfs-site.xml, mapred-site.xml,yarn-site.xml,hadoop-env.sh, mapred-env.sh,yarn-env.sh 和 slaves（均位于$HADOOP_HOME下的/etc/hadoop文件夹内）

各文件配置如下：

（1）[core-site.xml配置]

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://master:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>file:/home/hadoop/chadoop/tmp</value>

</property>

<property>

<name>io.file.buffer.size</name>

<value>131072</value>//如下配置是读写sequence file 的 buffer size,可减少 I/O 次数。在大型的 Hadoop cluster，建议可设定为 65536 到 131072，默认值 4096.按照教程配置了131702

</property>

</configuration>

（2）[hdfs-site.xml配置]

<configuration>

<property>

<name>dfs.namenode.name.dir</name>

<value>/home/hadoop/chadoop/dfs/name</value>

<description>namenode的目录位置</description>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>/home/hadoop/chadoop/dfs/data</value>

<description>datanode的目录位置</description>

</property>

<property>

<name>dfs.replication</name>

<value>2</value>

<description>hdfs系统的副本数量</description>

</property>

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>master:9001</value>

<description>备份namenode的http地址</description>

</property>

<property>

<name>dfs.webhdfs.enabled</name>

<value>true</value>

<description>hdfs文件系统的webhdfs使能标致</description>

</property>

</configuration>

（3）[mapred-site.xml配置]

注意：mapred-site.xml需要先复制模板生成配置文件后修改内容

[命令]cp mapred-site.xml.templatemapred-site.xml

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

<description>指明MapRreduce的调度框架为yarn</description>

</property>

<property>

<name>mapreduce.jobhistory.address</name>

<value>master:10020</value>

<description>知名MapReduce的作业历史地址</description>

</property>

<property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>master:19888</value>

<description>指明MapReduce的作业历史web地址</description>

</property>

</configuration>

（4）[yarn-site.xml配置]

<configuration>

<property>

<name>yarn.resourcemanager.address</name>

<value>master:18040</value>

</property>

<property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>master:18030</value>

</property>

<property>

<name>yarn.resourcemanager.webapp.address</name>

<value>master:18088</value>

</property>

<property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>master:18025</value>

</property>

<property>

<name>yarn.resourcemanager.admin.address</name>

<value>master:18141</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

</configuration>

（5）[hadoop-env.sh配置]

[操作]加入JAVA_HOME位置

（6）[mapred-env.sh配置]

[操作]指明JAVA_HOME位置

（7）[yarn-env.sh配置]

[操作]加入JAVA_HOME位置

（8）[slaves配置]

[操作]加入两个节点的名称

7.将master主节点以上的配置复制到slave1、slave2节点

7.1复制环境变量文件并使用各节点对象进行环境变量生效

[命令]

scp~/.bash_profile hadoop@slave1:~/

scp~/.bash_profile hadoop@slave2:~/

ssh hadoop@slave1. ~/.bash_profile

ssh hadoop@slave2. ~/.bash_profile

7.2复制chadoop目录到slave1和slave2机器上

[命令]

scp -r chadoop/ hadoop@slave1:~

scp -r chadoop/ hadoop@slave2:~

8.在master主节点上格式化hdfs文件系统

[命令]hdfs namenode -format

9.关闭防火墙（现在主节点上使用root用户操作，关闭后再使用ssh命令进入另外2节点中关闭其余节点防火墙）

[命令]

service iptablesstop

chkconfig iptablesoff

ssh slave1 进入后操作与master机器一样

ssh slave2 进入后操作与master机器一样

10.在master机器上启动hadoop，并用jps检验hadoop进程（此时master主节点有4个ResourceManager,Jps, NameNode, SecondaryNamenode，slave1节点与slave2节点有3个NodeManager,DataNode, Jps）

[命令]

start-all.sh

jps

11.hadoop的停止

[命令]stop-all.sh

该步骤情况：到这里hadoop的基本安装与配置结束。hadoop集群已基本搭建完成。

12.增加内容

再次登陆时发现环境变量没有生效，于是将~/.bash_profile中的增加内容同时对~/.bashrc和/etc/profile都做了更改，复制到另外两台机器上。这里请注意修正。

[Hadoop集群模式安装与配置全过程]红帽子RatHat6下hadoop集群模式安装（3个节点，master,slave1,slave2）相关推荐

  1. 生产环境安装、配置、管理PostgreSQL14.5数据库集群。pgpool 4.3.3参数中文说明

    1 生产环境安装.配置.管理PostgreSQL14.5 欢迎观看我发布的视频 "生产环境安装.配置.管理PostgreSQL14.5数据库集群" 数据库软件不是简单的安装上就好, ...

  2. Mac M1系统 miniconda安装、配置conda环境，及在conda环境中安装激活QIIME2

    Mac M1系统 miniconda安装.配置conda环境,及在conda环境中安装激活QIIME2 1.适配版本的miniconda软件安装包下载(windows, MAC, LINUX) Min ...

  3. Wine 的安装和配置，以及wine下运行金山词霸和中文输入法！(转)

    Wine 的安装和配置,以及wine下运行金山词霸和中文输入法!(转)[@more@] 提要:学习一个wine的安装和配置还是有必要,但如果运行金山词霸和输入法就没有太大的必要.因为现在linux中有 ...

  4. IIS的安装和配置全过程

    http://www.fwvv.net/info/2008/01/10/20080110-55337.shtml 1.运行环境与软件要求 Windows 2000 以上 (不包括Windows XP ...

  5. 配置kiwi+syslog+MySQL_win7下KiWi Syslog服务器的安装与配置

    今天就来聊聊日志服务器KiWi Syslog的安装与配置. 首先,所需文件有以下2个: 1.Kiwi_Syslog_Server_9.5.0.Eval.setup.exe[此版本只有14天寿命][Ki ...

  6. 环境部署（java安装和配置，Tomcat安装和配置）（tomcat下部署war包）

    1,上传环境部署安装包到服务器上 2,解压安装包,并部署java #  tar -xf jdk-8u201-linux-x64.tar.g # mkdir /usr/java # cp  jdk1.8 ...

  7. mysql安装与配置的截图_windows下MySQL5.6版本安装及配置过程附有截图和详细说明...

    随着MYSQL版本的更新以及电脑系统的变化,我们给大家整理了各种电脑环境下安装MYSQL的图解过程,希望我们整理的内容能够帮助到大家:mysql安装图解总结 https://www.jb51.net/ ...

  8. mac下安装与配置mysql数据库,Mac下MySQL的安装与配置

    之前一直用的是云服务器,在服务器上装了一个MySQL,但是今天发现到期了,而且续费时发现之前的大学生优惠不能用了,可是明明到6月份,大学生才毕业啊,shit!!!所以没办法只能在自己电脑上装一个MyS ...

  9. 安装mysql8.0配置环境_Windows环境下MySQL 8.0 的安装、配置与卸载

    软件版本 Windows:Windows10 MySQL:mysql-8.0.17-winx64.zip 安装步骤 1.配置环境变量 name:Path value:C:\Program Files\ ...

最新文章

  1. Jsoup实现Iteye自动登录
  2. 微信QQ聊天记录分析工具-微Q
  3. JavaScript版几种常见排序算法
  4. java操作excel文件之系列一：《读取excel文件的内容保存到数据库》
  5. 初中数学503个必考知识点_初中数学无非就这146个必考知识点，全摸透，轻松应对考试！...
  6. java 度量_Java度量方法调用率
  7. 软件技术PHp试卷,2014-2015软件技术学院AJAX试卷A
  8. Visual Studio各组件说明
  9. 最全面试题CSS(含答案)
  10. 5nm计算机cpu,芯片14nm、10nm、7nm、7nm、7nm、7nm有什么差别？
  11. MPLS 配置LDP本地会话实验 详解
  12. 网站首页html静态化,网站首页怎么静态化
  13. html+css制作简历
  14. java开发一款雷电游戏
  15. 玛格曼达 狂暴_我从狂暴听硅谷作家中学到的东西
  16. private static final long serialVersionUID=1L作用
  17. WMS系统条码作业项目实施经验浅谈
  18. React-mentions 库介绍
  19. JAVA高级开发工程师面试系列——RocketMQ
  20. VUE中实现打印功能插件—vue-easy-print

热门文章

  1. matplotlib之绘制三维图像
  2. 百度搜索打不开第二页_百度快速排名的最新方法篇
  3. 2021年资料员-通用基础(资料员)考试及资料员-通用基础(资料员)免费试题
  4. Esri官网如何申请试用版 ArcGIS Desktop？试用版过期怎么办？
  5. 上海宝付支招购物节不得不防的那些陷阱
  6. 【U8+】用友U8查询出库汇总表没有“计量单位”列
  7. HTML5吃豆人在画布移动制作,js+canvas实现动态吃豆人效果
  8. 无线路由器桥接的设置
  9. 英特尔中国开源技术委员会成立
  10. 西门子S1200PID恒温恒压供冷却水程序. 阀PID控制水温，与两台西门子V20变频器PID控制水压.包括程序和Eplan图纸