MapReduce的计算资源划分

一个MapReduce作业的计算工作都由TaskTracker完成，用户向Hadoop提交作业，JobTracke:会将该作业拆分为多个任务，并根据心跳信息交由空闲的TaskTracker启动。一个TaskTracker能够启动的任务数量是由TaskTracker配置的任务槽(slot)决定。槽是Hadoop的计算资源的表示模型，Hadoop将各个节点上的多维度资源(CPU、内存等)抽象成一维度的槽，这样就将多维度资源分配问题转换成一维度的槽分配的问题。在实际情况中，Map任务和Reduce任务需要的计算资源不尽相同，Hadoop又将槽分成Map槽和Reduce槽，并且 Map任务只能使用Map槽，Reduce任务只能使用Reduce槽，如图示。

Hadoop的资源管理采用了静态资源设置方案，即每个节点配置好Map槽和Reduce槽的数量(配置项为mapred-site.xml的mapred.tasktracker.map.tasks.maximum和mapred.tasktracker.reduce.tasks.maximum )，一旦 Hadoop启动后将无法动态更改。

这样的资源管理方案是有一定的弊端。
(1)槽被设定为Map槽和Reduce槽，会导致在某一时刻Map槽或Reduce槽紧缺，降低
了槽的使用率。
(2)不能动态地设置槽数量，可能会导致某一个TaskTracker资源使用率过高或过低。
(3)提交的作业是多样化的，如果一个任务需要1 GB内存，将会产生资源浪费，如果一
个任务需要3 GB内存，则会发生资源抢占的情况。
在Hadoop(CDH4, CDH5)中，上述的弊端已经得到了很大程度地解决。

本文参考书籍------Hadoop海量数据处理技术详解与项目实战

转载于:https://www.cnblogs.com/DeepRunning/p/9205990.html

MapReduce的计算资源划分相关推荐

X86服务器虚拟化的资源划分和性能优化
概述:虚拟化是一个广义术语,通常是指计算元件在虚拟的基础上而不是真实的基础上运行,是一个为了简化管理,优化资源的解决方案.服务器虚拟化则是一项用以整合基于x86服务器,来提高资源利用效率和性能的技术. ...
华为FusionSphere概述——计算资源、存储资源、网络资源的虚拟化，同时对这些虚拟资源进行集中调度和管理...
华为FusionSphere概述 FusionSphere是华为自主知识产权的云操作系统,集虚拟化平台和云管理特性于一身,让云计算平台建设和使用更加简捷,专门满足企业和运营商客户云计算的需求.华为云操 ...
阿里云大数据MaxCompute计算资源分布以及LogView分析优化
摘要: MaxCompute(原ODPS)的概念海量数据处理平台,服务于批量结构化数据的存储和计算,提供海量数据仓库的解决方案以及针对大数据的分析建模服务.(官方文档有这里就不多做介绍了)官方文档链 ...
java mapreduce程序_简单的java Hadoop MapReduce程序(计算平均成绩)从打包到提交及运行...
[TOC] 简单的java Hadoop MapReduce程序(计算平均成绩)从打包到提交及运行程序源码 import java.io.IOException; import java.util. ...
【软件工程】计算资源
计算资源计算资源(resource on the computation)计算复杂性理论的一个术语. 在IT行业,计算资源一般指计算机程序运行时所需的CPU资源.内存资源.硬盘资源和网络资源. 各类 ...
云计算被视为继大型计算机、个人计算机、互联网之后的第4次IT产业革命，顺应了当前各行业整合计算资源和服务能力的要求（转）...
云计算被视为继大型计算机.个人计算机.互联网之后的第4次IT产业革命,顺应了当前各行业整合计算资源和服务能力的要求,成为引领当今世界信息技术变革的主力军.越来越多的金融企业认识到只有与云计算结合,才能 ...
Java MapReduce 基本计算操作实现实战
Java MapReduce 基本计算操作实现实战特别注意: 1.在运行代码的过程中注意自己本地Hadoop版本必须与服务器版本一致,否则会出现许多意向不到的问题; 2.数据之间不能有空行间隔; ...
科研人员请注意！腾讯要为你们专项开放数据、计算资源、实验环境
允中发自凹非寺量子位编辑公众号 QbitAI 由腾讯广告与腾讯高校合作联合发起的"2020腾讯广告犀牛鸟专项研究计划"即日正式开启. 腾讯广告犀牛鸟专项研究计划是腾讯犀牛 ...
福利来了！国内TOP3的超级云计算，免费领2000核时计算资源！
长久以来,超级计算机一直是各国竞相角逐的科技制高点,也是国家综合科技实力的体现,尤其是近几年,中国和美国在超算领域的竞争已经进入"白热化".2020年,我国超级计算机在<全球 ...

MapReduce的计算资源划分

MapReduce的计算资源划分相关推荐

最新文章

热门文章