Hadoop配置-Yarn篇

作者：秦景坤

时间：2017-4-23

YARN是Hadoop2.x中的内容（伪分布式不启动YARN也可以，一般不会影响程序执行）

有的读者可能会疑惑，怎么启动Hadoop后，见不到书上所说的JobTracker和TaskTracker，这是因为新版的Hadoop使用了新的MapReduce框架（MapReduce V2,也称为YARN,Yet Another Resource Negotiator）。

YARN是从MapReduce中分离出来的，负责资源管理与任务调度。YRAN运行于MapReduce之上，提供了高可用性、高扩展性。

上一篇中通过./sbin/start-dfs.sh启动Hadoop，仅仅是启动了MapReduce环境，可以启动YARN,让YARN来负责资源管理和任务调度。

首先修改配置文件mapred-site.xml，这边需要先进行重命名。

mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml

然后再进行编辑，同样使用vi进行编辑 vi ./etc/hadoop/mapred-site.xml

接着修改配置文件yarn-site.xml:

然后就可以启动YARN（需要先执行./sbin/start-dfs.sh）

启动YARN之后，运行实例的方法还是一样的，仅仅是资源管理方式，任务调度不同。观察日志信息可以发现，不启用YARN时，是”mapred.LocalJobRunner”在跑任务，启用YARN之后，是”mapred.YARNRunner”在跑任务。启动YARN有个好处是可以通过web界面查看任务的运行情况。

但YARN主要是为集群提供更好的资源管理和任务调度，然而这在单机上体现不出价值，反而会使程序跑的稍慢些。因此在单机上是否开启YARN就看实际情况了。

如果不想启动YARN，务必把配置文件mapred-site.xml重命名，改成mapred-site.xml.template,需要时改回来就行。否则在该配置文件存在，而未开启YARN的情况下，运行程序会提示”Retrying connect to server:0.0.0.0/0.0.0.0:8032”的错误，这也是为何该配置文件初始文件名为mapred-site.xml.template

同样的，关闭YARN的脚本如下：

./sbin/stop-yarn.sh
./sbin/mr-jobhistory-daemon.sh stop historyserver

Hadoop配置Yarn相关推荐

解决 hadoop 2.x 配置 yarn 运行任务 Running job 卡住
解决 hadoop 2.x 配置 yarn 运行任务 Running job 卡住错误信息: 21/06/24 18:56:40 WARN util.NativeCodeLoader: Unable ...
Hadoop之Yarn的配置（详细步骤）
配置先进入hadoop-2.7.6/etc/hadoop cd /home/ZQ/hadoop-2.7.6/etc/hadoop/ 配置 mapred-site.xml vim mapred-sit ...
学习笔记Hadoop（八）—— Hadoop集群的安装与部署（5）—— Hadoop配置参数介绍、Hadoop集群启动与监控
五.Hadoop配置参数介绍 Hadoop集群配置文件主要有: 它们的默认参数配置可以看: core-default.xml :https://hadoop.apache.org/docs/stabl ...
Spark加载hadoop配置原理
0x0 背景最近为了将hadoop&hive的五大配置文件,即: core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml hive ...
Hadoop配置完善
Hadoop日志详解日志分析 •.log为log4j详细日志,.out为标准输出(一般查看.log) •Userlogs为程序的日志信息,其它(.out,.log)为进程启动日志信息 JobHist ...
Hadoop(HDFS,YARN)的HA集群安装
搭建Hadoop的HDFS HA及YARN HA集群,基于2.7.1版本安装. 安装规划角色规划 IP/机器名安装软件运行进程 namenode1 zdh-240 hadoop NameNode ...
hadoop 配置 docker伪分布式（单节点）
在~/.bashrc中添加环境变量 export JAVA_HOME=/bigdata/jdk1.8.0_212 export PATH=$PATH:$JAVA_HOME/bin export HAD ...
Hadoop配置总结(重置细节版)
Hadoop配置总结配置静态的的ip /*为什么我会先配置这个就是因为我安装的centos7的版本是没有ifconfig这个命令的所以只能先设置他的静态的ip地址才能链接远程所以我先配置这.*/ c ...
0353-如何使用curl命令调用CM的API动态配置Yarn资源池
温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图. Fayson的github: https://github.com/fayson/cdhproject 提示 ...
Hadoop（yarn）集群安装
说明说明一:此篇为大数据部分第二篇,第一篇见戳链接https://blog.csdn.net/focuson_/article/details/80153371,机器的安装准备说明和zookeepe ...

Hadoop配置Yarn

Hadoop配置-Yarn篇

作者：秦景坤

时间：2017-4-23

Hadoop配置Yarn相关推荐

最新文章

热门文章