Linux 部署Hadoop伪分布式集群教程

首先：我们需要下载一些关于Hadoop伪分布式集群需要的工具与tar包

链接：

https://pan.baidu.com/s/1oUw1jDCxfghWsnaWauSHKg

提取码：6s5a

接下来打开虚拟机终端，先创建一个文件夹用来解压Hadoop的tar包

接着使用xshell远程连接到虚拟机传输Hadoop的tar包（不会使用xshell可以参考这篇文章）http://t.csdn.cn/2fJ9m

输入命令：tar -zvxf hadoop-3.3.0 tar.gz开始解压tar包

接下来输入命令：ll就可以查看我们解压好的文件hadoop-3.3.0

接下来我们需要创建一个空文件夹hadooptmp用来装hadoop格式化hdfs时产生文件

紧接着我们需要进入hadoop文件下编辑hadoop-env.sh配置jdk的路径（黑色背景的图片为在xhell中操作的命令直接在虚拟机的终端中输入命令也可以）

在hadoop-env.sh中加入export JAVA_HOME=/.../..(这里的自己安装的jdk的路径）

接下来我们需要配置四个文件，第一个是 core-site.xml，输入命令: vim core-site.xml

进入 core-site.xml之后配置以下内容

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadooptest:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/software/hadooptmp</value>
</property>
</configuration>

第二个需要配置的文件是hdfs-site.xml，输入命令 vim hdfs-site.xml

进入后输入配置内容：

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

第三个需要配置的文件为mapred-site.xml输入命令：vim mapred-site.xml进行配置

进入文件后输入配置内容

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

第四个文件是yarn-site.xml输入命令：vim yarn-site.xml进行配置

配置内容为：

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

接下来我们需要编辑workers中的内容，输入命令：vim workers进入编辑

把localhost注释掉（前面加入#），然后加入自己的主机名（hadooptest是我的主机名）

紧接着我们开始配置环境变量，输入命令：vim ~/.bash_profile

进入后输入内容

expoet JAVA_HOME=.....(自己的jdk的安装路径)

export PATH=$JAVA_HOME/bin:$PATH

export HADOOP_HOME=.....(自己的hadoop安装路径)

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

配置好环境变量之后记得输入命令：source ~/.bash_profile 加载环境变量使环境变量生效

接下来我们需要格式化hdfs输入命令：hadoop namenode -format

格式化完成之后输入命令：start-all.sh启动hadoop

启动完成之后输入命令：jps查看启动正在进行的进程（除jps之外中共有五个进程）

接着进入浏览器中输入192.168.0.107：9870进行访问（192.168.0.107为自己虚拟机配置的IP地址）

再把9870改为8088就会出现访问如图所示网页

这样Hadoop部署伪分布式集群就部署完成了！！！

Linux 部署Hadoop伪分布式集群教程相关推荐

linux 部署Hadoop完全分布式集群教程
一.准备工作 1.本次任务需要三台虚拟机,主机名分别为Master.Slave01.Slave02先在Master上安装好jdk和Hadoop(安装教程可以参考这两篇文章)然后为了简便我们直接克隆两台 ...
Hadoop伪分布式集群的安装部署
Hadoop伪分布式集群的安装部署Hadoop伪分布式集群的安装部署首先可以为Linux虚拟机搭建起来的最初状态做一个快照,方便后期搭建分布式集群时多台Linux虚拟机的准备. 一.如何为虚拟机做快 ...
HADOOP 伪分布式集群搭建
一 linux 环境的搭建由于笔者这里使用的是vmware 虚拟机采用centos7 linux 操作系统进行搭建,所以一下示例均以centos7进行示例 1. 搭建vmware 虚拟机 (1) ...
Hadoop集群安装部署_伪分布式集群安装_02
文章目录一.解压安装 1. 安装包上传 2. 解压hadoop安装包二.修改Hadoop相关配置文件 2.1. hadoop-env.sh 2.2. core-site.xml 2.3. hdfs ...
Hadoop集群安装部署_伪分布式集群安装_01
文章目录一.配置基础环境 1. 设置静态ip 2. hostname 3. firewalld 4. ssh免密码登录 5. JDK 一.配置基础环境 1. 设置静态ip [root@bigdata ...
Hadoop伪分布式集群的搭建
一.准备虚拟机 1.从网上将VMware下载下来 https://www.vmware.com/content/dam/digitalmarketing/vmware/en/images/galler ...
安装hadoop伪分布式集群心得
1.hadoop安装: https://www.cnblogs.com/news1997/p/9522717.html https://blog.csdn.net/y12345678904/artic ...
Hadoop单机/伪分布式集群搭建（新手向）
此文已由作者朱笑笑授权网易云社区发布. 欢迎访问网易云社区,了解更多网易技术产品运营经验. 本文主要参照官网的安装步骤实现了Hadoop伪分布式集群的搭建,希望能够为初识Hadoop的小伙伴带来借鉴意 ...
linux上部署最新版本zookeeper伪分布式集群
1.环境准备 centos7系统,VM安装centos可参考还不会使用linux?快来通过VMware安装centos系统吧~ zookeeper安装包 SecureCRT 2.zookeeper简介 ...

Linux 部署Hadoop伪分布式集群教程

Linux 部署Hadoop伪分布式集群教程相关推荐

最新文章

热门文章