Apache Hadoop下一代MapReduce框架（YARN）简介（Apache Hadoop NextGen MapReduce (YARN)）

英文看着头大，先试着翻译一下。

E文原文：http://archive.cloudera.com/cdh5/cdh/5/hadoop/hadoop-yarn/hadoop-yarn-site/YARN.html

翻译真是太难了，而且我翻译的好烂，好烂，有时候自己也只能理解个大概。

====================================begin====================================

MapReduce在hadoop-0.2.3中发生了很大的变化，现在是MapReduce 2.0，又称为YARN。

MRv2的基本思想是将JobTracker的两个主要功能：资源管理和作业调度/监控分割成单独的守护进程。

我们是这样做的：有一个全局的ResourceManager （ RM），每个应用程序都有一个ApplicationMaster （ AM ）。一个应用程序既可以是单个的传统意义上的Map-Reduce作业，也可以是单个DAG作业。

数据的计算框架由ResourceManager，每个节点的从站，节点管理器（ NM ）组成。 ResourceManager是仲裁系统中的所有应用程序的资源的最终者。

ResourceManager中有两个主要组件：Scheduler 和ApplicationsManager 。

Scheduler因为了解容量的限制，队列等，所以负责分配资源至各运行中的应用程序。Scheduler是纯粹的调度程序，它不执行任何监视或跟踪状态的应用程序。此外，它不保证会重新启动失败的任务，无论是因为应用程序错误还是因为硬件故障所导致的。Scheduler履行其调度的功能，对于应用程序的资源需求，它基于抽象出的资源容器的概念，如内存，CPU ，磁盘，网络等等的组合。在第一个版本，它仅仅支持内存。Scheduler有一个可插拔的插件策略，它负责在各种不同的队列，应用程序等中分配群集的资源，比如当前的Map-Reduce调度器中的CapacityScheduler和FairScheduler。

CapacityScheduler支持层次化队列，以允许更多的可预见的共享群集资源。

ApplicationsManager负责接受作业提交，协商用于执行该应用程序特定的ApplicationMaster并提供用于重启因ApplicationMaster容器失败的服务的第一容器。

NodeManager是每台机器的计算框架的代理，它负责容器，监控他们的资源使用情况（CPU ，内存，磁盘，网络）并报告到ResourceManager/Scheduler。

每个应用程序的ApplicationMaster负责从Scheduler协商恰当的资源容器，跟踪他们的状态和监控进程。

MRV2保持与以前的稳定版本（的hadoop - 0.20.205 ）API的兼容性。这意味着所有的Map-Reduce作业只需重新编译一下就可以在MRv2上运行。

=========================================over====================================================

Apache Hadoop下一代MapReduce框架（YARN）简介（Apache Hadoop NextGen MapReduce (YARN)）相关推荐

Hadoop学习笔记：MapReduce框架详解
原文:http://blog.jobbole.com/84089/ 原文出处: 夏天的森林开始聊mapreduce,mapreduce是hadoop的计算框架,我学hadoop是从hive开始入手, ...
hadoop 学习笔记：mapreduce框架详解
开始聊mapreduce,mapreduce是hadoop的计算框架,我学hadoop是从hive开始入手,再到hdfs,当我学习hdfs时候,就感觉到hdfs和mapreduce关系的紧密.这个可能 ...
mapreduce框架详解
开始聊mapreduce,mapreduce是hadoop的计算框架,我学hadoop是从hive开始入手,再到hdfs,当我学习hdfs时候,就感觉到hdfs和mapreduce关系的紧密.这个可能 ...
Storm与Spark、Hadoop三种框架对比
目录 Storm与Spark.Hadoop三种框架对比一.Storm与Spark.Hadoop三种框架对比二.hadoop的应用业务分析二.浅谈Hadoop的基本原理 Hadoop与Storm的 ...
Hadoop 新 MapReduce 框架 Yarn 详解
Hadoop MapReduceV2(Yarn) 框架简介原 Hadoop MapReduce 框架的问题对于业界的大数据存储及分布式处理系统来说,Hadoop 是耳熟能详的卓越开源分布式文件存储 ...
Hadoop基础【HDFS、Yarn、MapReduce框架概述、框架的搭建】
1.Hadoop是什么是一个由Apache基金会所开发的分布式系统基础架构:主要解决海量数据的存储和海量数据的分析计算问题:hadoop通常是指一个更加宽泛的概念,Hadoop生态圈. 最先遇到大数 ...
Hadoop mapreduce框架简介
传统hadoop MapReduce架构(老架构) 从上图中可以清楚的看出原 MapReduce 程序的流程及设计思路: 1.首先用户程序 (JobClient) 提交了一个 job,job 的信息会 ...
Apache Shiro权限控制框架简介
Apache Shiro权限控制框架简介要想实现权限控制,可以自己写代码实现,蓄力都的权限控制可以通过过滤器Filter实现,细粒度的权限控制是基于代理对象结合自定义的注解和反射技术来实现,反射技术 ...
[Yarn基础]-- Apache Yarn 、 Apache Twill 和 Apache Slider 的对比
一.Apache Yarn .Twill和 Slider 的介绍 1.Apache Yarn YARN的基本思想是将资源管理和作业调度/监视的功能分解为单独的守护进程.我们的想法是拥有一个全局Reso ...
大数据Hadoop教程-学习笔记02【Apache Hadoop、HDFS】
视频教程:哔哩哔哩网站:黑马大数据Hadoop入门视频教程教程资源:https://pan.baidu.com/s/1WYgyI3KgbzKzFD639lA-_g 提取码: 6666 [P001-P ...

Apache Hadoop下一代MapReduce框架（YARN）简介（Apache Hadoop NextGen MapReduce (YARN)）

Apache Hadoop下一代MapReduce框架（YARN）简介（Apache Hadoop NextGen MapReduce (YARN)）相关推荐

最新文章

热门文章

Apache Hadoop下一代MapReduce框架（YARN）简介 （Apache Hadoop NextGen MapReduce (YARN)）

Apache Hadoop下一代MapReduce框架（YARN）简介 （Apache Hadoop NextGen MapReduce (YARN)）相关推荐

最新文章

热门文章

Apache Hadoop下一代MapReduce框架（YARN）简介（Apache Hadoop NextGen MapReduce (YARN)）

Apache Hadoop下一代MapReduce框架（YARN）简介（Apache Hadoop NextGen MapReduce (YARN)）相关推荐