cdh YARN服务启用Uber优化

2024-06-05 16:33:14

1.版本介绍

cdh 5.16.2

Uber模式虽然在hadoop2.X版本提供，但是使用的人并不多，默认是关闭的。

那么启用它有什么优点？

Uber模式只会向RM申请一个Container，这个Container里会启用AM，接着本任务的所有mapreduce计算都会在该Container内完成，不需要AM向RM申请其他Container。

简单理解，就是针对于小数据量的计算，都在一个Container中完成，避免多次向集群申请资源。节约了资源和时间。比如像小数据量的count等类似计算，就可以通过启用Uber加速运算。

2.Uber参数设置

在YARN服务的Performance参数中：

mapreduce.job.ubertask.enable=true 当该值为true，并且满足以下三个条件时，启用Uber优化

mapreduce.job.ubertask.maxreduces=1 当任务的reduce数<=1时，启用Uber优化

mapreduce.job.ubertask.maxmaps=4 当任务的map数<=4时，启用Uber优化

mapreduce.job.ubertask.maxbytes=64M 当输入的字节数<=64M时，启用Uber优化

yarn.app.mapreduce.am.resource.mb AM的内存设置

yarn.app.mapreduce.am.resource.cpu-vcores AM的cpu设置

3.使用经验

为了让Uber模式下的任务计算更快，可以适当把AM的内存调大
第一次启用Uber后，MR任务会报错，Error running local (uberized) 'child' : java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy()Z，是因为AM的环境变量中没有hadoop native相关lib

解决办法：修改参数 yarn.app.mapreduce.am.admin.user.env 为 LD_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH

使用uber后在container的日志中会出现错误，

 ERROR [uber-EventHandler] org.apache.hadoop.mapred.LocalContainerLauncher: Returning, interrupted : java.lang.InterruptedException  没有影响

cdh YARN服务启用Uber优化相关推荐

cdh 之 HDFS集群优化篇003
2019/3/21 星期四 1.操作系统级别优化选择Linux的文件系统为:XFS文件系统 2.预读缓冲预读技术可以有效的减少磁盘寻道次数和应用的I/O等待时间,增加Linux文件系统预读缓冲区的 ...
0027-如何在CDH集群启用Kerberos
2019独角兽企业重金招聘Python工程师标准>>> 1.文档编写目的本文档讲述如何在CDH集群启用及配置Kerberos,您将学习到以下知识: 1.如何安装及配置KDC服务 2 ...
Yarn服务无法启动
Yarn服务无法启动1 有一次同事拿着我写的安装手册去安装CDH,结果在启动Yarn服务这一步一直失败,而且没有log文件生成,也就是根本就不知道是什么错误. 经过百般尝试后依然无果.于是问同事是不是 ...
PHP服务缓存加速优化实战
PHP服务缓存加速优化实战 (1) 操作码介绍及缓存原理: 当客户端请求一个PHP程序的时候,服务器的 PHP 引擎会解析该 PHP 程序,并将其编译为特定的操作码(Operate Code)文件. ...
WINDOWS XP服务和进程优化详解
WINDOWS XP服务和进程优化详解 1.Alerter Alerter(警示器)服务的进程名是Services.exe(即启动这个服务后在后台运行的进程的名称,可以通过任务管理器看到).Alert ...
Visual Studio调试时遇到的问题：生成下面模块时，启用了优化或没有调试信息
Posted on 2010/04/26 by zitiger 最近调试程序过程中每次都出现这样的信息:"生成下面模块时,启用了优化或没有调试信息",点了"确定" ...
人人都能掌握的Java服务端性能优化方案
转载自人人都能掌握的Java服务端性能优化方案作为一个Java后端开发,我们写出的大部分代码都决定着用户的使用体验.如果我们的代码性能不好,那么用户在访问我们的网站时就要浪费一些时间等待服务器的响 ...
linux临时启动进程命令,Linux常用命令（一）服务控制及优化启动过程
Linux常用命令(一) 服务控制及优化启动过程一.Red hat系统开机引导过程 1.linux操作系统的引导过程一般包括以下几个阶段:开机自检.MBR引导.GRUB菜单.加载Linux内核.in ...
Tomcat Manager服务启用
Tomcat Manager服务启用必须在Tomcat服务器3.x和4.x中部署Applications Manager代理.更多 Tomcat 3.x和4.x不需要用户名和密码.对于Tomcat ...

最新文章

热门文章