hadoop-uber作业模式

如果作业很小，就选择和自己在同一个JVM上运行任务，与在一个节点上顺序运行这些任务相比，当application master 判断在新的容器中的分配和运行任务的开销大于并行运行它们的开销时，就会发生这个情况。

哪些是小作业呢？

小作业就是小于 10个 mapper 而且只有 1 个 reducer且输入大小小于一个HDFS块（128M）大小的作业

map任务和reduce任务需要的资源量不能大于MRAppMaster（mapreduce作业的ApplicationMaster）可用的资源总量；也就是说yarn.app.mapreduce.am.resource.mb必须大于 mapreduce.map.memory.mb和mapreduce.reduce.memory.mb以及yarn.app .mapreduce.am.resource.cpu-vcores必须大于mapreduce.map.cpu.vcores和mapreduce.reduce.cpu.vcores以启用ubertask。

参数mapreduce.job.ubertask.enable用来控制是否开启Uber运行模式，默认为false。

在有些情况下，运行于Hadoop集群上的一些mapreduce作业本身的数据量并不是很大，如果此时的任务分片很多，那么为每个map任务或者reduce任务频繁创建Container，势必会增加Hadoop集群的资源消耗，并且因为创建分配Container本身的开销，还会增加这些任务的运行时延。如果能将这些小任务都放入少量的Container中执行，将会解决这些问题。好在Hadoop本身已经提供了这种功能，只需要我们理解其原理，并应用它。 Uber运行模式就是解决此类问题的现成解决方案。

posted @ 2019-02-20 11:15 流氓小伙子阅读(...) 评论(...) 编辑收藏

hadoop-uber作业模式相关推荐

hadoop伪分布式模式_Hadoop模式介绍-独立，伪分布式，分布式
hadoop伪分布式模式了解了什么是Hadoop之后,让我们在单机上启动Hadoop: 这篇文章包含在ubuntu上安装Hadoop的说明. 这是Hadoop安装的快速分步教程. 在这里,您将获得以 ...
[Hadoop集群模式安装与配置全过程]红帽子RatHat6下hadoop集群模式安装（3个节点，master,slave1,slave2）
红帽子RatHat6下hadoop集群模式安装(3个节点,master,slave1,slave2) 一.学习目标: 使用红帽子RatHat6在虚拟机上搭建hadoop集群,包含3个节点,体验集群分布 ...
Hadoop平台作业参数设置关于mapreduce.job.split.metainfo.maxsize的说明
Hadoop平台作业参数设置关于mapreduce.job.split.metainfo.maxsize的说明 1.MR程序时执行时报错: YarnRuntimeException: java. ...
flash期末作业成品_基于“新工科”的工科物理作业模式研究
2018年1月,教育部高等教育司对部属高校.各省级教育行政部门.理工专业类教学指导委员会以及相关行业协(学)会择优推荐的国家级新工科研究与实践项目,进行了公示,公示结果显示,认定了612个项目为国家级 ...
使用MRUnit，Mockito和PowerMock进行Hadoop MapReduce作业的单元测试
0.preliminary 环境搭建 Setup development environment Download the latest version of MRUnit jar from Apac ...
hadoop emr_在Amazon EMR上运行Hadoop MapReduce作业
hadoop emr 不久前,我发布了如何使用CLI设置EMR群集的信息. 在本文中,我将展示如何使用适用于AWS的Java SDK来设置集群. 展示如何使用Java AWS开发工具包执行此操作的最佳 ...
在Amazon EMR上运行Hadoop MapReduce作业
不久前,我发布了如何使用CLI设置EMR群集的信息. 在本文中,我将展示如何使用适用于AWS的Java SDK来设置集群. 展示如何使用Java AWS开发工具包执行此操作的最佳方法是展示完整的示例, ...
订单拣选作业模式总结
物流中心(本文指非自动化的物流中心)经常会用到的几种不同的拣货作业模式.应当讲,每种模式都有其自身的优点和缺点,有其特定的应用场景.具体到每一家物流中心,要根据自身的场地布局.产品特性.订单结构选择一 ...
Uber无模式数据存储
Uber无模式数据存储设计无模式.Uber工程师使用MySQL定制数据库,允许我们从2014向后扩展.这是无模式三部分系列的第一部分. 在项目Mezzanine中,我们描述了如和从单一Postgre ...
在win7上的eclipse向hadoop提交作业异常-权限/设置调度器
第一个问题,在win7上的eclipse向hadoop提交作业时,没有权限,异常信息如下: Java代码 Caused by: org.apache.hadoop.ipc.RemoteExcept ...

hadoop-uber作业模式

hadoop-uber作业模式

hadoop-uber作业模式相关推荐

最新文章

热门文章