Hadoop安装教程单机/伪分布式配置

环境：ubuntu-20.04.4

创建hadoop用户

首先按 ctrl+alt+t 打开终端窗口，输入如下命令创建新用户 :

sudo useradd -m hadoop -s /bin/bash

接着使用如下命令设置密码，按提示输入密码：

sudo passwd hadoop

最后注销当前用户（点击屏幕右上角的齿轮，选择注销）用 hadoop 用户登录后更新一下

sudo apt-get update

安装SSH、配置SSH无密码登陆

sudo apt-get install openssh-server

安装后，可以登陆本机

ssh localhost

输入 yes 。然后按提示输入密码 hadoop。

登陆是需要每次输入密码的，我们需要配置成SSH无密码登陆

先退出

exit

进入ssh目录

cd ~/.ssh/

生成密钥

ssh-keygen -t rsa

加入授权

cat ./id_rsa.pub >> ./authorized_keys

验证是否成功使用

ssh localhost

直接登录即可

安装Java环境

使用自带的火狐浏览器在https://www.oracle.com/java/technologies/javase/javase8-archiv

下载这个

在Linux命令行界面中，执行如下：创建一个文件夹来存放jdk

cd /usr/lib
sudo mkdir jvm

打开新的终端

cd 下载
sudo tar -zxvf ./jdk-8u202-linux-x64.tar.gz -C /usr/lib/jvm  //这里要注意自己jdk的版本不要盲目复制

接下来配置环境变量

cd ~
gedit ~/.bashrc //或者直接打开一个新的终端输入这行最前面的命令就行

在打开的文档中输入

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_202 //注意自己的jdk版本
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

保存后进行重新编译

source ~/.bashrc

编译好之后可以查看是否安装成功

java -version

安装 Hadoop

Apache Hadoop在这个网址下载，下那个binary

点击之后，下载这个

sudo tar -zxf ~/下载/hadoop-2.10.1.tar.gz -C /usr/local
cd /usr/local/
sudo mv ./hadoop-2.10.1/ ./hadoop
sudo chown -R hadoop ./hadoop

查看是否安装成功

cd hadoop
./bin/hadoop version

以上就是Hadoop的单机配置了

Hadoop伪分布式配置

打卡新的终端

cd /usr/local/hadoop/etc/hadoop/
gedit ./core-site.xml

插入

<property><name>hadoop.tmp.dir</name><value>file:/usr/local/hadoop/tmp</value><description>Abase for other temporary directories.</description></property><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property>

保存退出

gedit ./hdfs-site.xml

插入

<property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>file:/usr/local/hadoop/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/usr/local/hadoop/tmp/dfs/data</value></property>

保存并退出

打开新的终端，执行格式划

cd /usr/local/hadoop
./sbin/start-dfs.sh

在本地的浏览器中输入http://localhost:9870/

是彩色的网页奥，这个图是我挂起截的

Hadoop安装教程单机/伪分布式配置相关推荐

Hadoop安装教程_伪分布式配置-Ubuntu-CentOS6（究极详细、厦门大学数据库实验室）
Hadoop安装教程_伪分布式配置_CentOS6.4/Hadoop2.6.0 Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0(2.7.1)/Ubuntu14.04(16.04) 林 ...
大数据-安装 Hadoop3.1.3 详细教程-单机/伪分布式配置(Centos)
Centos 7 安装 Hadoop3.1.3 详细教程前言 00 需准备 01 需掌握一.准备工作 00 环境 01 创建 hadoop 用户 02 修改 hadoop 用户权限 03 切换为 ...
Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
给力星追逐内心的平和首页笔记搜藏代码音乐关于 Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04 2014-08-09 (updated: 2016 ...
Hadoop安装教4程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.0
Hadoop安装教4程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.0 当开始着手实践 Hadoop 时,安装 Hadoop 往往会成为新手的一道门槛.尽管安装其实很简单,书上有写到 ...
Ubuntu16.04/Hadoop3.1.3安装教程_单机/伪分布式配置
Hadoop3.1.3安装教程_单机/伪分布式配置_Hadoop3.1.3/Ubuntu16.04.6 为了方便学习本教程,请读者们利用Linux系统中自带的firefox浏览器打开本指南进行学习. ...
Hadoop3.1.3安装教程_单机/伪分布式配置_Hadoop3.1.3/Ubuntu18.04(16.04)
厦门大学(林子雨老师)Hadoop3.1.3安装教程_单机/伪分布式配置_Hadoop3.1.3/Ubuntu18.04(16.04)
Ubuntu安装HBase2.2.4并进行单机/伪分布式配置
Ubuntu安装HBase2.2.4并进行单机/伪分布式配置文章目录 Ubuntu安装HBase2.2.4并进行单机/伪分布式配置前言版本兼容性详细流程安装HBase2.2.4 HBase单 ...
Ubuntu系统安装Hadoop3.1.3并进行单机/伪分布式配置
Ubuntu系统安装Hadoop3.1.3并进行单机/伪分布式配置文章目录 Ubuntu系统安装Hadoop3.1.3并进行单机/伪分布式配置前言详细流程创建Hadoop用户安装Java 配 ...
Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0
本 Hadoop 教程由厦门大学数据库实验室出品,转载请注明.本教程适合于在 CentOS 6.x 系统中安装原生 Hadoop 2,适用于Hadoop 2.7.1, Hadoop 2.6.0 等版本 ...
Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu16.04
转自http://dblab.xmu.edu.cn/blog/install-hadoop/ 创建hadoop用户创建了可以登陆的 hadoop 用户,并使用 /bin/bash 作为 shell, ...