Hadoop【部署 02】hadoop-3.1.3 单机版YARN（配置、启动停止shell脚本修改及服务验证）

1. 修改配置

进入 ${HADOOP_HOME}/etc/hadoop/ 目录下，修改以下配置：

mapred-site.xml

[root@tcloud ~]# vim /usr/local/hadoop-3.1.3/etc/hadoop/mapred-site.xml

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><!-- 历史服务器地址 --><property><name>mapreduce.jobhistory.address</name><value>tcloud:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>tcloud:19888</value></property>
</configuration>

yarn-site.xml

[root@tcloud ~]# vim /usr/local/hadoop-3.1.3/etc/hadoop/yarn-site.xml

<configuration><property><!--配置NodeManager上运行的附属服务。需要配置成mapreduce_shuffle后才可以在Yarn上运行MapReduce程序--><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><!-- resourcemanager配置 单机版可以在同一台服务器上可以不配置 --><property><name>yarn.resourcemanager.hostname</name><value>tcloud</value></property><!-- 白名单 --><property><name>yarn.nodemanager.env-whitelist</name> <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value></property><!-- 以下配置要根据服务器情况进行配置 我的云服务器只有2G的内存--><property><name>yarn.scheduler.minimum-allocation-mb</name><value>128</value></property><property><name>yarn.scheduler.maximum-allocation-mb</name><value>256</value></property><property><name>yarn.nodemanager.resource.memory-mb</name><value>256</value></property><property><name>yarn.nodemanager.pmem-check-enabled</name><value>false</value></property><property><name>yarn.nodemanager.vmem-check-enabled</name><value>false</value></property><!-- 开启日志聚集功能 --><property><name>yarn.log-aggregation-enable</name><value>true</value></property><!-- 设置日志聚集服务器地址 --><property>  <name>yarn.log.server.url</name>  <value>http://tcloud:19888/jobhistory/logs</value></property><!-- 设置日志保留时间为7天 --><property><name>yarn.log-aggregation.retain-seconds</name><value>604800</value></property>
</configuration>

2.修改启动和停止shell脚本

[root@tcloud hadoop]# vim /usr/local/hadoop-3.1.3/sbin/start-yarn.sh
[root@tcloud hadoop]# vim /usr/local/hadoop-3.1.3/sbin/stop-yarn.sh

start-yarn.sh，stop-yarn.sh 这两个文件顶部添加以下参数：

YARN_RESOURCEMANAGER_USER=root
HDFS_DATANODE_SECURE_USER=yarn
YARN_NODEMANAGER_USER=root

3. 启动服务

进入 ${HADOOP_HOME}/sbin/ 目录下，启动 YARN：

[root@tcloud sbin]# ./start-yarn.sh

4. 验证是否启动成功

方式一：执行 jps 命令查看 NodeManager 和 ResourceManager 服务是否已经启动：

[root@tcloud sbin]# jps
1701 NameNode
1848 DataNode
7512 Jps
7198 NodeManager
7055 ResourceManager
2095 SecondaryNameNode

方式二：查看 Web UI 界面，端口号为 8088

Hadoop【部署 02】hadoop-3.1.3 单机版YARN（配置、启动停止shell脚本修改及服务验证）相关推荐

Hadoop 部署之 Hadoop (三)
一.Hadoop 介绍 Hadoop的框架最核心的设计就是:HDFS和MapReduce.HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算. 1.HDFS 介绍 Hadoop ...
shell脚本详解（九）——一键部署DNS正向解析
shell脚本详解(九)--一键部署DNS正向解析一.DNS正向解析二.shell脚本一键部署一.DNS正向解析详情请点击:DNS正向解析二.shell脚本一键部署 #!/bin/bash ...
python部署到hadoop上_python实现mapreduce（2）——在hadoop中执行
目的:将python实现mapreduce(1)中的python脚本部署到hadoop上,实现mapreduce. 1. 修改脚本执行权限 [tianyc@TeletekHbase ~]$ which ...
Hadoop部署方式-高可用集群部署(High Availability)
Hadoop部署方式-高可用集群部署(High Availability) 作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客的高可用集群是建立在完全分布式基础之上的,详情请参 ...
Hadoop系列之一：hadoop部署安装
简述:一个分布式系统基础架构,由Apache基金会开发.用户可以在不了解分布式底层细节的情况下,开发分布式程序.充分利用集群的威力高速运算和存储.Hadoop实现了一个分布式文件系统(Hadoop D ...
Apache Spark学习：将Spark部署到Hadoop 2.2.0上
本文介绍的是如何将Apache Spark部署到Hadoop 2.2.0上,如果你们的Hadoop是其他版本,比如CDH4,可直接参考官方说明操作. 需要注意两点:(1)使用的Hadoop必须是2.0 ...
hadoop 开启防火墙_Hadoop部署一Hadoop安装
哈喽,同学们好,继上篇文章<Hadoop部署一jdk与MySQL>,我们安装好了jdk以及MySQL.我们现在开始安装部署Hadoop,开启Hadoop之旅. 一.下载Hadoop安装包 ...
hadoop-0.21.0 在Windows环境下的部署(2)Hadoop配置
1:下载本来想传到csdn上的,但是最大只支持70M的文件,还是网上找吧 2:解压在C:\cygwin\hadoop 3:配置 hadoop/conf下需要配置的文件: 1.hadoop-env.s ...
flume java 安装部署_[Hadoop] Flume安装部署与简单使用
1. Flume Flume是一个分布式的日志收集框架,针对日志数据进行采集汇总,把日志从A地方搬运到B地方去. 使用场景: RDBMS ==> Sqoop ==> Hadoop 分散在各 ...

Hadoop【部署 02】hadoop-3.1.3 单机版YARN（配置、启动停止shell脚本修改及服务验证）

1. 修改配置

2.修改启动和停止shell脚本

3. 启动服务

4. 验证是否启动成功

Hadoop【部署 02】hadoop-3.1.3 单机版YARN（配置、启动停止shell脚本修改及服务验证）相关推荐

最新文章

热门文章