在~/.bashrc中添加环境变量

export JAVA_HOME=/bigdata/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/bigdata/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

1.配置hdfs

1.配置
etc/hadoop/core-site.xml:

<configuration><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property>
</configuration>

etc/hadoop/hdfs-site.xml:

<configuration><property><name>dfs.replication</name><value>1</value></property>
</configuration>

2.格式化namenode
$ bin/hdfs namenode -format
3.启动dfs
sbin/start-dfs.sh
4.访问namenode网站
NameNode - http://localhost:9870/

如有问题可参考：
hadoop平台报错：ATTEMPTING TO OPERATE ON HDFS NAMENODE AS ROOT（start-all.sh）启动失败解决方法

2.配置yarn

1.配置yarn
etc/hadoop/mapred-site.xml:

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapreduce.application.classpath</name><value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value></property>
</configuration>

etc/hadoop/yarn-site.xml:

<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.env-whitelist</name><value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value></property>
</configuration>

2.启动yarn
sbin/start-yarn.sh
3.访问yarn
ResourceManager - http://localhost:8088/

参考：
官方文档

ssh配置
教你如何修改运行中的docker容器的端口映射

hadoop 配置 docker伪分布式（单节点）相关推荐

hadoop ubantu环境搭建_Ubuntu16.04 下 hadoop的安装与配置（伪分布式环境）
一.准备 1.1创建hadoop用户 $ sudo useradd -m hadoop -s /bin/bash #创建hadoop用户,并使用/bin/bash作为shell $ sudo pass ...
Hadoop系列之九：Hadoop集群伪分布式模式的实现详解
1.Hadoop依赖软件 Hadoop基于Java语言开发,因此其运行严重依赖于JDK(Java Development Kit),并且Hadoop的许多功能依赖于Java 6及以后的版本才提供的特性 ...
创建并配置一个伪分布式Hadoop3.x版本集群（三）
文章目录前言 1. Hadoop 集群搭建模式 2. 伪分布式集群搭建环境准备 2.1 SSH免密登录设置 2.2 Java 环境准备 2.3 Hadoop环境准备 2.4 其他环境准备 3. Ha ...
Hadoop安装搭建伪分布式教程（全面）吐血整理
Hadoop安装搭建伪分布式教程(全面)吐血整理 1.安装下载虚拟机VMware 2.下载Ubuntu18.04镜像文件,并在VMware中添加虚拟机. 3.Hadoop伪分布式搭建 3.1 创建ha ...
老司机实战Windows Server Docker：4 单节点Windows Docker服务器简单运维（下）
上篇中,我们主要介绍了使用docker-compose对Windows Docker单服务器进行远程管理,编译和部署镜像,并且设置容器的自动启动.但是,还有一些重要的问题没有解决,这些问题不解决,就完 ...
5.Hadoop的学习（Hadoop的配置（伪分布式的搭建）-1）
1.Hadoop的配置独立模式.伪分布式.完全分布式 2.安装完之后就已经是独立模式了. (1)在独立模式之下是没有守护进程的,可以输入命令 jps 会发现只有一个Jps,没有其他守护进程. ( ...
hadoop的安装与配置（伪分布式模式安装）
最近偶然在研究hadoop看完网络上的配置文章居然在linux下安装成功的hadoop就把别人的文章进行说明一下,提供给需要的读者. hadoop 的安装分为本地模式.伪分布模式.集群模式.本地模式是 ...
JAVA大数据(一)简介-Hadoop环境配置，伪分布式模式架构学习用
文章目录 1.课前资料 2.课程整体介绍 3.大数据介绍什么是大数据? 为什么要学习大数据? 大数据相关技术海量数据存储海量数据清洗海量数据处理 4.集群环境准备 4.1准备虚拟机 4.2修改 ...
Hadoop入门-单机伪分布式配置
为了配置的的方便建议先提升你的登录用户权限,本配置中凡是要在终端中输入的命令都用红色字体,需注意对应的目录用了色字体标出. 启用超级用户 sudo passwd root(然后输入你的超级用户密码)以 ...

hadoop 配置 docker伪分布式（单节点）

1.配置hdfs

2.配置yarn

hadoop 配置 docker伪分布式（单节点）相关推荐

最新文章

热门文章