环境

本教程使用Ubuntu16.04 64位作为系统环境

前期准备

进入终端，输入命令创建新用户为Hadoop

sudo useradd -m hadoop -s /bin/bash

使用命令设置密码，这里“Hadoop”表示用户名为Hadoop安装指令输入密码

sudo passwd hadoop

将管理员权限授予给Hadoop用户

sudo adduser hadoop sudo

完成后进入登陆界面登录进入Hadoop用户

进入Hadoop用户后先更新apt,后续会使用到apt，打开终端输入命令

sudo apt-get update

在安装后续需要下载一些配置文件，在这里下载的是vim（vi的加强版，用法与vi相似）

sudo apt-get install vim

在安装时需要进行手动确认，在提示处输入y即可

无论是Hadoop的集群模式还是单机节点模式都需要用到ssh登录，所以还需要安装ssh server

sudo apt-get install openssh-server

完成ssh的安装后即可直接使用ssh登录本机

ssh localhost

第一次使用ssh登录本机时需要输入yes后按提示密码

接下来进行ssh的无密码设置

exit                           # 退出进入的 ssh localhost
cd ~/.ssh/                     # 若没有该目录，请先执行一次ssh localhost
ssh-keygen -t rsa              # 会有提示，所有直接按回车即可
cat ./id_rsa.pub >> ./authorized_keys  # 添加无密码授权

再次使用ssh localhost即可进行无密码登录

ssh localhost

hadoop3.1.3需要使用是JDK版本在1.8以上是，在这里安装JDK1.8

将JDK1.8的安装包传入虚拟机系统中（可以通过虚拟机的共享文件系统上传，也可以使用QQ邮箱在虚拟机系统上登录进行上传，方式很多，黑猫白猫抓到老鼠就是好猫）

cd /usr/lib      进入到usrd的lib目录下
sudo mkdir jvm   创建/usr/lib/jvm目录用来存放JDK文件
cd ~ 进入hadoop用户的主目录
cd /home/fatcat/下载  JDK安装包的位置
sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm  把JDK文件解压到/usr/lib/jvm目录下

完成JDK文件的解压后可在刚刚创建的目录jvm中查看

cd /usr/lib/jvm
ls

接下来开始配置JDK的环境变量

cd ~
vim ~/.bashrc

在打开的文件中添加语句（打开文件后，先按“i”键进入编辑模式后添加以下语句，完成后按“ESC”键返回打开文件时的正常模式后输入“：wq”进行文件的保存并提出vim)

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

完成配置后输入代码让文件生效

source ~/.bashrc

可以输入以下代码检验JDK是否安装成功

java -version

若返回以下信息则说明成功

hadoop@ubuntu:~$ java -version
java version "1.8.0_162"
Java(TM) SE Runtime Environment (build 1.8.0_162-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.162-b12, mixed mode)

完成后便可进入Hadoop的安装

安装Hadoop

将Hadoop下载到虚拟机中并进行解压

sudo tar -zxf ~/home/ftacat/下载/hadoop-3.1.3.tar.gz -C /usr/local    将hadoop 解压到/usr/local中
cd /usr/local/
sudo mv ./hadoop-3.1.3/ ./hadoop            将文件夹名改为hadoop
sudo chown -R hadoop ./hadoop       修改文件权限

完成后可以通过检查Hadoop版本信息来确认是否安装完成

./bin/hadoop version

接下来进行Hadoop伪分布式的配置

进入目录usr/local/hadoop/etc/hadoop中，打开core-site.xml文件进行编辑

将<configuration>
</configuration>更改成

<configuration><property><name>hadoop.tmp.dir</name><value>file:/usr/local/hadoop/tmp</value><description>Abase for other temporary directories.</description></property><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property>
</configuration>

同时将hdfs-site.xml进行编辑

将<configuration>
</configuration>更改成

<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>file:/usr/local/hadoop/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/usr/local/hadoop/tmp/dfs/data</value></property>
</configuration>

完成后将Namenode格式化

cd /usr/local/hadoop
./bin/hdfs namenode -format

若成功则会有以下返回信息（successfully formatted)

完成后开启datanade和namenode

cd /usr/local/hadoop
./sbin/start-dfs.sh  #start-dfs.sh是个完整的可执行文件，中间没有空格

若出现输入提示，输入y

完成后可通过jps进行检验Hadoop是否启动成功

Ubuntu安装Hadoop3.1.3教程相关推荐

System之Ubuntu：VMware虚拟机 Ubuntu安装详细过程(图文教程，最强攻略，步骤详细，建议收藏)
System之Ubuntu:VMware虚拟机 Ubuntu安装详细过程(图文教程,最强攻略,步骤详细,建议收藏) 导读不是每一个程序员都必须玩过linux,只是博主觉得现在的很多服 ...
linux安装openssh服务器的命令,ubuntu 安装openssh服务器的教程详解
1.安装openssh 首先得安装 openssl 和zlib 安装openssl ---下载openssl-1.0.1j.tar.gz,解压到/usr/openssl/目录下进入解压目录执行./c ...
mac安装Hadoop3.2.1教程（超详细）
由于课程需要和工具限制,需要在mac上安装Hadoop,参考了网上的教程,总结了用terminal安装Hadoop3.2.1以及运行第一个Wordcount程序的过程.这里默认mac的terminal ...
极智开发 | ubuntu 安装寒武纪MLU-270 SDK教程
本教程详细记录了在 ubuntu 系统上安装寒武纪 SDK 的方法. 我这里示例的是 ubuntu1604,ubuntu1804的安装方法一致(只是包不同). 文章目录 1.sdk 概览 2. ...
在ubuntu安装最新版QQ教程
原文地址:http://blog.csdn.net/qq_36428171/article/details/78244730 使用的方式是通过wine这一强大的工具,wine是什么就自行百度啦,我也是 ...
openfoam linux教程,ubuntu安装OpenFOAM官网教程
本人对ubuntu操作不熟悉,也是刚接触,但是按照官网上的安装,没问题的!分享给大家!!!希望有帮助! Ubuntu Versions OpenFOAM and Paraview are curren ...
linux卸载crossover,CrossOver Linux版如何在Ubuntu中安装？Ubuntu安装CrossOver Linux版教程...
CrossOver这款系统兼容软件不仅有着Mac版本,还有Linux版本可供大家选择,也可以让Linux用户在其电脑上运行Windows应用,那么CrossOver Linux是如何安装的呢?今天小编 ...
Ubuntu安装和配置ssh教程
一般Ubuntu都会默认安装openssh-client,但是没有安装openssh-server. 安装ssh服务器 sudo apt install openssh-server 安装ssh客户端 ...
Ubuntu安装，配置全教程
1,安装开机logo界面狂按 F2,在exit界面选择第三个U盘,然后开机 Windows10安装ubuntu18.04双系统教程 - 不妨不妨,来日方长 - 博客园 Ubuntu18.04/20. ...

Ubuntu安装Hadoop3.1.3教程

环境

前期准备

安装Hadoop

Ubuntu安装Hadoop3.1.3教程相关推荐

最新文章

热门文章