Hadoop-2.2.0学习之一Hadoop-2.2.0变化简介

2024-05-21 02:51:15

Hadoop-2.2.0在Hadoop-1.x的基础上进行了重大改进，主要体现在HDFS和MapReduce上。下面大体介绍HDFS和MapReduce改进的地方。

首先是HDFS联合。众所周知，在Hadoop-1.x版本中，集群中只有一个NameNode节点，一旦该节点失效就不能自动切换到备用节点，这也是Hadoop-1.x被人诟病的地方之一。为了水平的扩展NameNode服务，在2.x版本中存在多个独立的NameNode或者命名空间（Namespace）。这些独立的NameNode不要求彼此协作，但却是联盟的关系，这也是为什么被称为HDFS联合或者联盟的原因。所有的DataNode节点被NameNode节点们作为公用的存储块的地方，每个DataNode在集群中的所有NameNode中注册，并周期性地发送心跳和块信息报告，同时处理来自所有NameNode的命令。

下一代MapReduce也称为YARN或者MRv2。在hadoop-0.23引入的新的体系结构将JobTracker的两个主要功能资源管理和job生命周期管理分为了单独的组件。新的ResourceManager管理应用程序所使用的计算机资源的全局分配，每个应用一个的ApplicationMaster管理应用程序的调度和协作。一个应用程序或者是从经典MapReduce作业角度来看的一个单独作业，或者是这种作业的一个有向无环图（DAG）。ResourceManager和每台主机一个的NodeManager守护进程组成了计算结构，其中NodeManager管理这台主机上的用户进程。事实上，ApplicationMaster是框架特定的类库，任务是从ResourceManager协调资源以及同NodeManager一起工作进行任务的执行和监控。

上面简单介绍了Hadoop-2.x版本在HDFS和MapReduce上做的重大改进，细节方面的改进以及实现的还需要进一步阅读官方文档和源代码。

Hadoop-2.2.0学习之一Hadoop-2.2.0变化简介相关推荐

Android 8.0 学习（26）---Android8.0 Power Menu 添加截屏选项
首先介绍下这个Power长按,显示Power Menu的流程,然后再介绍如何去添加一个新的选项,新的选项的功能是截屏. Power Menu长按的流程: 1.长按Power的处理在framework ...
Android 8.0 学习（24）---Android8.0 WiFi热点适配
Android8.0 WiFi热点适配在Android8.0上用以前的方式调试WiFi热点的时候发现无法正常开启热点,于是查了下,发现之前的热点打开接口已经废弃.原先的接口WifiManager.j ...
Android 8.0 学习（14）---Android8.0适配分析
公司项目Android8.0适配分析 1. 官方推荐的兼容测试方式 2. Android8.0行为变更说明 Android 8.0 行为变更包括两个部分:针对所有 API 级别的应用和针对 And ...
web3.0学习入门6：web3.0开发入门
Web3.0 简介 Web 3.0 的概念是由以太坊联合创始人 Gavin Wood 在 2014 年提出的,指基于区块链的去中心化在线生态系统,它代表了下一代互联网时代.目前 Web 3.0 仍处于 ...
Servlet3.0学习总结(三)——基于Servlet3.0的文件上传
在Servlet2.5中,我们要实现文件上传功能时,一般都需要借助第三方开源组件,例如Apache的commons-fileupload组件,在Servlet3.0中提供了对文件上传的原生支持,我们不 ...
OAuth2.0学习（1-1）OAuth2.0是什么？
目前很多开放平台如新浪微博开放平台都在使用提供开放API接口供开发者使用,随之带来了第三方应用要到开放平台进行授权的问题 OAuth就是用于为第三方应用授权访问用户的资源应用的. 目前有OAuth1. ...
Angular 5.0 学习2：Angular 5.0 开发环境的搭建和新建第一个ng5项目
1.安装Node.js 在开始工作之前,我们必须设置好开发环境. 如果你的机器上还没有Node.js®和npm,请先安装它们. 去Node.js的官网,https://nodejs.org/en/,点 ...
Android 8.0 学习（17）---Android8.0中对指纹的新要求
Android8.0中对指纹的新要求 784 我们先来看一张指纹在Android6.0版本上的架构层次图: 指纹应用层,也就是手机上的指纹设置,这是Android系统层定义的指纹管理入口. 1,sys ...
Android 8.0学习（18）--- Android8.0运行时权限策略变化和适配方案
Android8.0运行时权限策略变化和适配方案在 Android O 之前,如果应用在运行时请求权限并且被授予该权限,系统会错误地将属于同一权限组并且在清单中注册的其他权限也一起授予应用.对 ...
Android 8.0学习（16）---8.0 的Doze模式白名单路径
Android O 的Doze模式白名单路径 Doze 模式列表上述备注规则如下 if(powerWhitelist.isSysWhitelisted(pkg)) {// Summary of ap ...

最新文章

热门文章