Hadoop 伪分布安装（内附ssh免密登录，收藏起来看哦）

一：安装前准备

二： jdk 安装，java环境配置

三：伪分布hadoop环境安装

四： ssh免密登录配置【简化启动】

五：总结

一：安装前准备

安装前工作：确保已经装好虚拟机及linux系统，准备好hadoop安装包和jdk安装包

以下为可能会用到的安装工具及网盘下载链接【自取】：

hadoop-2.7.7.tar.gz

链接：https://pan.baidu.com/s/18tMvslkfjyulrip9-2IitQ
提取码：aoye

2. jdk-8u211-linux-x64.tar

链接：https://pan.baidu.com/s/1lGoPs6zwmkysw4uW2PhXag
提取码：aoye

3. WinSCP-5.17.5-Setup

链接：https://pan.baidu.com/s/137BmJIktaGzN0p4fylbUhQ
提取码：aoye

二： jdk 安装，java环境配置

1. 上传hadoop-2.7.7.tar.gz安装包和jdk-8u211-linux-x64.tar安装包到linux系统【可通过winscp工具将windows系统上安装包上传到linux系统】

2. 将安装包放到根目录下/opt目录下【可在上传安装包时选择对应目录！也可后续移动】

3. 配置jdk【在/opt下创建目录jdk，将jdk解压在该文件下】

4. 在/etc/profile目录下配置环境变量和启动程序，输入：vi /etc/profile 【按 i 进入编辑模式，编辑完后先按esc 再输入 :wq 保存并退出】

#JAVA ENV
export JAVA_HOME=/jdk解压目录
export PATH=$JAVA_HOME/bin:$PATH

5. 刷新使得编辑文件生效,输入： source /etc/profile

6. 输入查看java环境是否安装成功： java -version

三：伪分布hadoop环境安装

hadoop安装模式：本地安装，伪分布安装，完全分布式安装

安装流程：解压安装包----配置环境----修改五个配置文件-----格式化namenode----启动hadoop

1. 解压hadoop-2.7.7.tar.gz安装包【在/opt目录下创建hadoop目录，把hadoop-2.7.7.tar.gz解压到该目录下】

解压后目录如下：

2. 配置hadoop环境【在 /etc/profile 目录下配置，输入：vi /etc/profile，按 i 进入编辑模式，编辑完后先按esc 再输入 :wq 保存并退出】

#HADOOP ENV
export HADOOP_HOME=/hadoop解压目录
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

3. 刷新使得文件生效，并查看环境是否配置成功【刷新：source /etc/profile ; 查看是否配置成功：hadoop】

4. 进入hadoop解压目录下的/etc/hadoop目录下【例如： cd /opt/hadoop/hadoop-2.7.7/etc/hadoop】

5. 修改五个配置之一：hadoop-env.sh 【按 i 进入编辑模式，编辑完后先按esc 再输入 :wq 保存并退出】

6. 修改五个配置文件之一： hdfs-site.xml 【在../etc/hadoop目录下输入：vi hdfs-site.xml】

<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>1</value>
</property>

7. 修改五个配置文件之一： core-site.xml

<property>
<name>fs.defaultFS</name>
<value>hdfs://主机名:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>

# tmp目录需自己创建在对应的目录下
<value>/opt/hadoop/hadoop-2.7.7/tmp</value>
</property>

8. 修改五个配置文件之一： mapred-site.xml 【没有这个配置文件，通过拷贝mapred-site.xml.template产生，输入： cp mapred-site.xml.template mspred-site.xml】

<property>
<name>mapreduce.framwork.name</name>
<value>yarn</value>
</property>

9. 配置五个配置文件之一： yarn-site.xml

<property>
<name>yarn-resourcemanager.hostname</name>
<value>主机名</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

10. 格式化namenode 【回到hadoop解压主目录，进入bin目录下，输入命令进行格式化：hdfs namenode -format】

成功后如下截图：

【如有格式化错误可根据所报日志进行查找，注意修改的配置文件中不能有半点错误！！】

11. 启动hadoop 【进入hadoop安装目录下的 /sbin 目录下，输入命令启动：./start-all.sh】

注意：启动需多次输入密码，比较麻烦，结尾将给出免密登录的配置（可不用多次输入密码启动hadoop），密码输入是不显示的，输入完回车即可！

12. 启动成功后必须得有以下五个进程【namenode，datanode，secondarynamenode，resourcemanager。nodemanager】，输入查看： jps

13. hadoop配置并启动成功，可在浏览器输入端口号访问web页面： 主机名：50070

出现访问不了页面的问题，通过以下解决：

1. 查看防火墙状态并关闭防火墙：

2. 配置windows端ip映射【进入以下目录：C:\Windows\System32\drivers\etc，修改hosts文件加入linux主机ip和主机名，切记保存并退出】

四： ssh免密登录配置【简化启动】

1. 关闭hadoop【sbin目录下：./stop-all.sh】

2. 进入/root/.ssh目录：cd ~/.ssh

3. 输入 ssh-keygen -t rsa 【三下回车，生成两个文件id_rsa（私匙），id_rsa.pub（共匙）】

4. ssh-copy-id 主机名【将公匙拷贝到要免密登录的机器上】

5. 配置好后如下【启动不用再输入密码】

五：总结

以上为hadoop伪分布安装以及免密登录，解释得有不清楚的地方多多海涵。

超详细 Hadoop 安装（内附ssh免密登录，图文详解，小白必看）相关推荐

ssh无密登录配置详解（hadoop集群搭建）
ssh无密登录原理 Hadoop集群搭建时,配置ssh是给yarn用的,最好先清空.ssh目录下的文件,再生成密钥,在节点中含有resourcemanager的服务器(有多个resourcemanag ...
python工具安装教程_Python 开发工具PyCharm安装教程图文详解(新手必看)
一.概念理解1.json.dumps()和json.loads()是json格式处理函数(可以这么理解,json是字符串) (1)json.dumps()函数是将一个Python数据类型列表进行jso ...
Hadoop-2.8.0集群搭建、hadoop源码编译和安装、host配置、ssh免密登录、hadoop配置文件中的参数配置参数总结、hadoop集群测试,安装过程中的常见错误
25. 集群搭建 25.1 HADOOP集群搭建 25.1.1集群简介 HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起 HDFS集群: 负责海量数据 ...
linux中ssh免密登录,Linux之SSH免密登录
Linux 双向 SSH 免密登录原理双向,顾名思义,双方互通,此处的意思是多台 linux 两两免密登录.双向比单向多了些操作,单向只需把某一个linux的公钥发送给其他linux即可,而双向要 ...
杨校老师课堂之集群内SSH免密登录功能配置
SSH免密登录功能配置 1. 在主节点虚拟机内进行如下操作: [root@hadoop1 tmp]# ssh-keygen -t rsaGenerating public/private rsa ke ...
ssh免密登录(详细)
在分布式系统中,经常需要各台主机之间相互配合工作.如hadoop启动的时候,各台主机之间必须配置ssh免密登录 1 ssh安装 ubuntu sudo apt-get install openssh- ...
ssh免密登录和阿里云epel安装
1.免密登录一般其他人黑进自己服务器以后,第一步先做免密登录,这样就算那边把自己踢掉以后或者修改密码,自己这边一样能登录进去. 免密登录步骤:1.生成公钥私钥 2.拷贝公钥 3.登陆服务器 1.生成 ...
Hadoop学习之SSH免密登录配置(以三台虚拟机为例，完全分布式)
目录 1.更改主机名(便于进行操作) 方法一编辑方法二 2.配置SSH免密登录 1.生成秘钥 2.移动秘钥 3.秘钥分配 4.验证免密登录 1.更改主机名(便于进行操作) 本文操作需在root用 ...
Hadoop之配置集群各节点SSH免密登录
在搭建完三个Linux(centos7)虚拟机并能够相互ping成功的前提下,现在来实现这个三个节点之间的免密登录.通信工具就是ssh(secure shell),sshzhu提供了两种通信节点之间的 ...

超详细 Hadoop 安装（内附ssh免密登录，图文详解，小白必看）

Hadoop 伪分布安装（内附ssh免密登录，收藏起来看哦）

一：安装前准备

二： jdk 安装，java环境配置

三：伪分布hadoop环境安装

四： ssh免密登录配置【简化启动】

五：总结

超详细 Hadoop 安装（内附ssh免密登录，图文详解，小白必看）相关推荐

最新文章

热门文章

超详细 Hadoop 安装（内附ssh免密登录，图文详解，小白必看）

Hadoop 伪分布安装 （内附ssh免密登录，收藏起来看哦）

一： 安装前准备

二： jdk 安装，java环境配置

三： 伪分布hadoop环境安装

四： ssh免密登录配置【简化启动】

五： 总结

超详细 Hadoop 安装（内附ssh免密登录，图文详解，小白必看）相关推荐

最新文章

热门文章

Hadoop 伪分布安装（内附ssh免密登录，收藏起来看哦）

一：安装前准备

三：伪分布hadoop环境安装

五：总结