一、MapReduce的基本概念

MapReduce是一个分布式计算框架，它将大型数据操作作业分解为可以跨服务器集群并行执行的单个任务，起源于Google。适用于大规模数据处理场景，每个节点处理存储在该节点的数据，每个job包含Reduce两部分。

二、MapReduce的设计思想

分而治之——简化并行计算的编程模型
构建抽象模型：Map和Reduce——开发人员专注于实现Mapper和Reduce函数
隐藏系统层细节——开发人员专注于业务逻辑实现

三、MapReduce特点

优点：易于编程、可扩展性、高容错性、高吞吐量

不适用领域：难以实时计算、不适合流式计算、不适合DGA(有向图)计算

四、MapReduce编程规范

MapReduce框架处理的数据格式是<K,V>键值对形式

Mapper

Map端接收<K,V>键值对数据，经过处理输出新的<K,V>键值对

Map端处理逻辑写在Mapper类中map()方法中

Reducer

Reduce端搜集多个Mapper端输出的<K,V>数据，进行汇总

Reduce的业务逻辑写在reduce()方法中

每一组相同k的<k,itertator<v>>组调用一次reduce()方法

MapReduce基本概述——分布式计算框架相关推荐

分布式计算框架——MapReduce
一.MapReduce概述 Hadoop MapReduce 是一个分布式计算框架,用于编写批处理应用程序.编写好的程序可以提交到 Hadoop 集群上用于并行处理大规模的数据集. MapReduce ...
MapReduce分布式计算框架
1.MapReduce分布式计算框架本章介绍了Hadoop的MapReduce分布式计算框架的基本概念.编程规范和词频统计实战等内容.从存储的大数据中快速抽取信息,进一步进行数据价值的挖掘,需要用到 ...
Hadoop基础【HDFS、Yarn、MapReduce框架概述、框架的搭建】
1.Hadoop是什么是一个由Apache基金会所开发的分布式系统基础架构:主要解决海量数据的存储和海量数据的分析计算问题:hadoop通常是指一个更加宽泛的概念,Hadoop生态圈. 最先遇到大数 ...
分布式计算框架Hadoop核心组件概述
Hadoop作为成熟的分布式计算框架在大数据生态领域已经使用多年,本文简要介绍Hadoop的核心组件MapReduce.YARN和HDFS,以加深了解. 1.Hadoop基本介绍 Hadoop是分布式 ...
Hadoop分布式计算框架MapReduce
一.MapReduce概述 &源自于Google的MapReduce论文,论文发表于2004年12月 &Hadoop MapReduce是Google MapReduce的克隆版 &a ...
【大数据入门笔记系列】第六节分布式计算框架MapReduce的工作流程
[大数据入门笔记系列]第六节分布式计算框架MapReduce的工作流程前言 MapReduce分布式运算 MapReduceApplication MapTask ReduceTask split ...
Hadoop技术(二)资源管理器YARN和分布式计算框架MapReduce
资源管理器YARN和分布式计算框架MapReduce 第一章 Hadoop MapReduce 是什么一 MapReduce 介绍 1. 基本介绍 2. MR数据流程方向 3. MR 原语/ 核心思 ...
MapReduce(分布式计算框架)
什么是MapReduce MapReduce是分布式计算框架,它将大型数据操作作业分解为可以跨服务器集群并行执行的单个任务,适用于大规模数据处理场景,每个job包含Map和Reduce两部分 MapR ...
MapReduce分布式计算框架简介
Hadoopd分布式计算框架--MapReduce 一.MapReduce简介 1. 概念 MapReduce是基于Hadoop的分布式计算框架. 起源于Google,它将大型数据操作作业分解为可以跨 ...

MapReduce基本概述——分布式计算框架

一、MapReduce的基本概念

二、MapReduce的设计思想

三、MapReduce特点

四、MapReduce编程规范

MapReduce基本概述——分布式计算框架相关推荐

最新文章

热门文章