您也可以参考我语雀
https://www.yuque.com/docs/share/f58bd2d8-f736-4936-a628-8add0b40c38d?# 《2.Hadoop安装与配置》

参考博客：
Hadoop伪分布搭建_小Chou熊的博客-CSDN博客
Linux中Hadoop的环境搭建 - L波涛 - 博客园 (cnblogs.com)
Hadoop安装搭建伪分布式教程（全面）吐血整理

在此之前

你需要配置变量环境，可以参照jdk配置
jdk中国源
华为云镜像站
在profile中的

export JAVA_HOME=/opt/jdk  #jdk安装目录export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATHexport JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/binexport PATH=$PATH:${JAVA_PATH}

export HADOOP_HOME=/opt/hadoopexport PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

你需要配置以下三个文件

因为Hadoop是运行在jdk之上的，所以需添加jdk变量位置
在hadoop-env.sh 添加
export JAVA_HOME=/root/software/jdk1.8.0_181

1. core-site.xml

你需要在Hadoop根目录下，创建tmp 文件夹，mkdir tmp

ip地址，需要使用ifconfig命令查看内网ip

ip地址后的9000端口可能存在占用问题，导致HADOOP无法启动，所以需要你修改

<!-- 指定namenode的hdfs协议的文件系统通信地址 -->
<property><name>fs.defaultFS</name>
<value>hdfs://192.168.182.128:9000</value>
</property>
<!-- 默认路径/tmp namenode的数据默认放在${hadoop.tmp.dir}/dfs/name 路径下 -->
<!-- 如果操作系统重启了，系统会清空/tmp目录下的东西 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/root/software/hadoop-2.7.5/tmp</value>
</property>

2. mapred-site.xml

因为mapred-site.xml.template 是存在的
mapred-site.xml不存在
所以你需要复制一份
cp mapred-site.xml.template mapred-site.xml

<!-- 指定yarn为mapreduce的框架 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

3. yarn-site.xml

<!-- yarn的默认混洗方式，选择为mapreduce的默认混洗算法 -->
<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value>
</property><property>                                                <name>mapreduce.framework.name</name><value>yarn</value>
</property>

格式化HDFS集群，启动yarn服务

hadoop namenode -format

start-dfs.sh

start-yarn.sh

你可以使用 jps，来验证>启动结果：

启动结果

start-dfs.sh启动结果

9226 DataNode
8525 SecondaryNameNode
8334 NameNode

start-yarn.sh启动结果

9659 NodeManager
9535 ResourceManager

其他问题

1. 无法访问web页面

防火墙没有关闭

参考博客：
Linux关闭防火墙命令_baidu_36124158的博客-CSDN博客_linux关闭防火墙
Linux关闭防火墙命令 - 简书 (jianshu.com)

查看开启情况：

systemctl status firewalld

关闭防火墙：

systemctl stop firewalld

关闭开机自启防火墙：

systemctl disable firewalld.service

端口未开放
端口被占用

2. 配置ssh密钥

在多次启动关闭HADOOP中，需要多次输入密码，这个过程就会过于麻烦，所这个时候就需要ssh密钥直接启动登录

ssh-keygen -t rsa

cp id_rsa.pub authorized_keys

HaDoop安装配置笔记相关推荐

VMware上安装Hadoop安装配置与教程小白必看
VMware上安装Hadoop安装配置与教程小白必看安装Hadoop前准备工作进入BIOS模式开启虚拟化安装虚拟机VMware并安装ubuntu Hadoop安装与配置启动终端创建新用户并设 ...
hadoop服务器系统设置win10,win10系统hadoop安装配置的设置技巧
win10系统使用久了,好多网友反馈说关于对win10系统hadoop安装配置设置的方法,在使用win10系统的过程中经常不知道如何去对win10系统hadoop安装配置进行设置,有什么好的办法去设置 ...
freebsd 6.2 安装配置笔记[转]
freebsd 6.2 安装配置笔记June 28th, 2007 作者: Jeffrey 出处:http://blog.zhangjianfeng.com/?p=588 freebsd 6.2 安装 ...
Python 的scikit-learn和tensorflow在虚拟环境下安装配置笔记
Python 机器学习安装配置笔记这学期开始上人工智能课,任课老师要求安装python和对于机器学习深度学习的各种库. 以前做过类似项目,顺便就把配置环境的流程记录下来. 中间有引用他人的博客,都有 ...
owncloud 配置mysql_owncloud安装配置笔记
Mike的分享空间 owncloud安装配置笔记 date: 2017.05.05; modification:2018.07.25 目录: 1 服务端安装服务器: ubuntu 18.04 1.1 ...
Hadoop安装配置
1.集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台.以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesy ...
Hadoop安装配置（转自虾皮工作室）
转自虾皮工作室http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html#!comments 1.集群部署介绍 1.1 Hadoop ...
mysql sles11_mysql SUSE SLES11 安装配置笔记
SUSE SLES11 上安装配置mysql的笔记,分享并备忘. (1) 下载从mysql官网下载到最新的发行版本5.1.45,简单起见,直接下载SLES11的RPM版本: MySQL-serve ...
eAccelerator(eacc)安装配置笔记
文章来自:http://bbs.linuxtone.org/viewthread.php?tid=154 一:eAccelerator(eacc)安装配置:eAccelerator 可以明显降低CPU ...
Centos6.3下rsync+sersync安装配置笔记
最近单位活比较多,所以就很少更新,晚上上网碰巧看到一篇关于sersync的介绍,个人感觉较rsync+inotify配置更加规范,刚好最近手痒,就总结了下,分享给大家. 目前业内比较靠谱的同步解决方案 ...

HaDoop安装配置笔记

在此之前

你需要配置以下三个文件

1. core-site.xml

2. mapred-site.xml

3. yarn-site.xml

格式化HDFS集群，启动yarn服务

启动结果

start-dfs.sh启动结果

start-yarn.sh启动结果

其他问题

1. 无法访问web页面

2. 配置ssh密钥

HaDoop安装配置笔记相关推荐

最新文章

热门文章