前言
一、core-site.xml
二、hdfs-site.xml
三、yarn-site.xml
四、mapred-site.xml

前言

简单整理一下Hadoop下conf目录下core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml这四个配置文件的配置说明，用作学习。

官方文档

一、core-site.xml

指定NameNode的地址
hadoop3.x默认端口为8020

<property><name>fs.defaultFS</name><value>hdfs://hadoop102:8020</value>
</property>

指定hadoop数据的存储目录

<property><name>hadoop.tmp.dir</name><value>/opt/module/hadoop-3.1.3/data</value>
</property>

配置HDFS网页登录使用的静态用户为ys

<property><name>hadoop.http.staticuser.user</name><value>ys</value>
</property>

二、hdfs-site.xml

NameNode web端访问地址

<property><name>dfs.namenode.http-address</name><value>hadoop102:9870</value>
</property>

ScondNameNode web端访问地址

<property><name>dfs.namenode.http-address</name><value>hadoop102:9870</value>
</property>

指定HDFS副本的数量,默认3，最大副本数默认512

<property><name>dfs.replication</name><value>3</value>
</property>

三、yarn-site.xml

指定MR走shuffle过程

<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value>
</property>

指定ResourceManager的地址

<property><name>yarn.resourcemanager.hostname</name><value>hadoop103</value>
</property>

环境变量的继承

<property><name>yarn.nodemanager.env-whitelist</name><value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>

yarn容器分配的最大最小内存(默认1024和8192)

<property><name>yarn.scheduler.minimum-allocation-mb</name><value>512</value>
</property>
<property><name>yarn.scheduler.maximum-allocation-mb</name><value>4096</value>
</property>

yarn容器允许管理的物理内存大小(默认8192MB)

<property><name>yarn.nodemanager.resource.memory-mb</name><value>4096</value>
</property>

关闭yarn对虚拟内存的限制检查

<property><name>yarn.nodemanager.vmem-check-enabled</name><value>false</value>
</property>

开启日志聚集功能

<property><name>yarn.log-aggregation-enable</name><value>true</value>
</property>

设置日志聚集服务器地址

<property>  <name>yarn.log.server.url</name>  <value>http://hadoop102:19888/jobhistory/logs</value>
</property>

设置日志保留时间(7天)

<property><name>yarn.log-aggregation.retain-seconds</name><value>604800</value>
</property>

四、mapred-site.xml

指定MapReduce程序运行在Yarn上

<property><name>mapreduce.framework.name</name><value>yarn</value>
</property>

历史服务器端地址

<property><name>mapreduce.jobhistory.address</name><value>hadoop102:10020</value>
</property>

历史服务器web端地址

<property><name>mapreduce.jobhistory.webapp.address</name><value>hadoop102:19888</value>
</property>

持续更新中...

以上就是今天要讲的内容，本文仅仅简单介绍了Hadoop的四个核心配置使用，后续遇到还会更新和说明相关配置。

Hadoop相关核心配置文件说明相关推荐

hadoop相关(以期为单位）
学习Hadoop不错的系列文章 1)Hadoop学习总结 (1)HDFS简介地址:http://forfuture1978.iteye.com/blog/615033 (2)HDFS读写过程解析地 ...
【SSM框架系列】Mybatis映射配置文件与核心配置文件深入
传统开发方式Dao层实现编写UserDao接口 public interface UserDao {List<User> findAll() throws IOException;} 编 ...
maven 不编译jasper文件_第一个SpringBoot项目、核心配置文件properties（yml、yaml）、集成jsp...
SpringBoot简介及国内关注度 SpringBoot简介: 它用来简化 Spring 应用程序的创建和开发过程,也可以说 Spring Boot 能简化我们之前采用 SpringMVC +Spr ...
Hadoop的伪分布安装 hadoop的核心思想
Hadoop的伪分布安装 hadoop的安装分为本地模式.伪分布模式.集群模式.本地模式是运行在本地,只负责存储,没有计算功能,本书不讲述.伪分布模式是在一台机器上模拟分布式部署,方便学习和调试.集群 ...
Mybatis—代理开发和核心配置文件深入
代理开发方式介绍采用 Mybatis 的代理开发方式实现 DAO 层的开发,这种方式是我们后面进入企业的主流. Mapper 接口开发方法只需要程序员编写Mapper 接口(相当于Dao 接口),由 ...
SpringMVC深度探险 —— SpringMVC核心配置文件详解
在上一篇文章中,我们从DispatcherServlet谈起,最终为读者详细分析了SpringMVC的初始化主线的全部过程.整个初始化主线的研究,其实始终围绕着DispatcherServlet.We ...
jsp拿不到回显数据_第一个SpringBoot项目、核心配置文件properties（yml、yaml）、集成jsp...
SpringBoot简介及国内关注度 SpringBoot简介: 它用来简化 Spring 应用程序的创建和开发过程,也可以说 Spring Boot 能简化我们之前采用 SpringMVC +Spr ...
nginx ---- nginx.conf核心配置文件
Nginx核心配置文件结构从前面的内容学习中,我们知道Nginx的核心配置文件默认是放在/usr/local/nginx/conf/nginx.conf,这一节,我们就来学习下nginx.conf的 ...
2.4.3 Mybatis 高级查询, 复杂映射, 返回主键, 动态SQL if, set, foreach, 核心配置文件深入,plugins标签, 多表查询, 嵌套查询
目录 Mybatis 复杂映射&配置文件深入一 Mybatis高级查询 1.1 ResutlMap属性 1.2 多条件查询(三种) 1.3 模糊查询二 Mybatis映射文件深入 2.1 ...

Hadoop相关核心配置文件说明

前言

一、core-site.xml

二、hdfs-site.xml

三、yarn-site.xml

四、mapred-site.xml

Hadoop相关核心配置文件说明相关推荐

最新文章

热门文章