MapReduce 的架构

主从结构

主节点，只有一个 : JobTracker ,JobTracker 一般情况下，运行在 namenode 这台机器上。
从节点，有很多个 : TaskTrackers , 部署在剩下的 datanode 上。

这里谈的 JobTracker 、TaskTrackers 都是 JVM。

JobTracker 负责：

接收客户提交的计算任务

计算任务：肯定是一段代码---你要怎么操作我的数据。

把计算任务分给TaskTrackers 执行
监控TaskTracker的执行情况

我把任务分配给你了，能否分配成功？失败怎么办？工作的进度？工作的结果？如果出现了这些问题，MapReduce都会透明的帮我们解决掉这些问题。假如被分配到任务的 TaskTracker 不能够顺利的完成任务，JobTracker会透明的把任务切换到另外一台虚拟机上。

但是这种切换我们是感觉不到的，这就是用框架的好处，我们写 java 的人只需要关注业务逻辑。

TaskTrackers 负责：

执行JobTracker分配的计算任务

开始做，坚持做，重复做

MapReduce 的架构相关推荐

MapReduce整体架构分析
继前段时间分析Redis源代码一段时间之后.我即将開始接下来的一段技术学习的征程.研究的技术就是当前很火热的Hadoop,可是一个Hadoop生态圈是很庞大的.所以首先我的打算是挑选当中的一部分模块, ...
初步掌握MapReduce的架构及原理
MapReduce 定义 Hadoop 中的 MapReduce 是一个使用简单的软件框架,基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上,并以一种可靠容错式并行处理TB级别的数据集 ...
Hadoop学习（二）——MapReduce\Yarn架构
其他更多java基础文章: java基础学习(目录) 学习资料理解Hadoop YARN架构本文先讲MapReduce 1.x的框架.再讲MapReduce 1.x升级改进后MapReduce 2 ...
什么是MapReduce？MapReduce整体架构搭建使用介绍
文章目录前言 MapReduce 入门 MapReduce的核心思想 MapReduce yarn Yarn伪分布式搭建 MapReduce编码需求 MapReduce2.0工作机制 MapRed ...
【大数据教程】MapReduce基本架构、统计每个人三次考试成绩的最高分，统计每一个人花费的总流量、按地区，统计每一个人花费的总流量
文章目录 Writable - 序列化概述案例 Flow类 Mapper类 Reducer类 Driver类结果练习 Student类 Mapper类最高分Reducer类平均分Reduc ...
【大数据教程】MapReduce基本架构、统计文件中每个字符出现的次数，IP去重、计算每个人的最高分，总分
文章目录概述案例 Mapper类继承Mapper类重写`map()`方法 Reducer类继承Reducer 重写`reduce()`方法 Driver类结果练习单词统计 Mapper ...
Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解
编者按:HDFS和MapReduce是Hadoop的两大核心,除此之外Hbase.Hive这两个核心工具也随着Hadoop发展变得越来越重要.本文作者张震的博文<Thinking in BigD ...
四、MapReduce和Yarn基本架构
@Author : By Runsen @Date : 2020/6/20 作者介绍:Runsen目前大三下学期,专业化学工程与工艺,大学沉迷日语,Python, Java和一系列数据分析软件.导致翘 ...
详解Hadoop核心架构HDFS+MapReduce+Hbase+Hive
通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS.MapReduce处理过程,以及数据仓库工具Hive和分布式数据库Hbase的介绍,基本涵盖了Hadoop分布式平台的所有技术核心. 通 ...
【云计算与大数据技术】大数据系统总体架构概述（Hadoop+MapReduce ）
一.总体架构设计原则企业级大数据应用框架需要满足业务的需求,一是要求能够满足基于数据容量大,数据类型多,数据流通快的大数据基本处理需求,能够支持大数据的采集,存储,处理和分析,二是要能够满足企业级应 ...

MapReduce 的架构

MapReduce 的架构相关推荐

最新文章

热门文章