Hadoop学习之MapReduce(一)

在学习过了HDFS架构和Hadoop的配置管理后，现在学习MapReduce应用程序的编写和管理。首先简单介绍一下MapReduce框架。

MapReduce是一个易于编写程序的软件框架，这些应用程序以可靠的、容错的模式并行的运行在很大规模的商用硬件集群上（数以千计的节点），处理超大数量的数据（超过TB的数据集）。一个MapReduce作业通常将输入数据集分割为独立的数据块，这些数据块被map任务以完全并行的方式处理，MapReduce框架整理map任务的输出结果，然后map的输出结果做为reduce任务的输入。典型地，作业的输入和输出都存储在文件系统中。MapReduce框架处理调度任务，监控任务和重新执行失败的任务。

通常地，计算节点和存储节点是相同的节点，也就是MapReduce框架和HDFS运行在相同的节点集之上。这种配置方式允许MapReduce框架在数据存放的节点上有效地调度任务，导致集群中非常高的带宽传输率。MapReduce由单一的主JobTracker和每个集群节点上一个的从TaskTracker组成。主节点负责调度作业在从节点上的组件任务，监控任务和重新执行失败的任务，从节点执行由主节点指示的任务。

最低限度地，应用程序指定输入输出位置，通过实现恰当地的接口和（或者）抽象类提供map和reduce函数，这些信息和其它的作业参数组成了作业的配置管理（jobconfiguration）。Hadoop的作业客户端提交作业（jar文件或者可执行文件等）和JobTrackerde 配置信息，JobTracker开始承担分发软件/配置信息到从节点上，调度任务和监控任务，向作业客户端提供状态和诊断信息。

虽然Hadoop框架是用Java语言实现的，但是MapReduce应用程序不

Hadoop学习之MapReduce(一)相关推荐

Hadoop学习之MapReduce
Hadoop学习之MapReduce 目录 Hadoop学习之MapReduce 1 MapReduce简介 1.1 什么是MapReduce 1.2 MapReduce的作用 1.3 MapRedu ...
第三节 Hadoop学习案例——MapReduce课程设计好友推荐功能
提示:文章内容主要以案例为主目录前言项目说明一,程序需求 1.需求 2.数据二,编码操作 1.项目建包目录 2.FriendsRecommend.java 3.FriendsRecommen ...
Hadoop学习之MapReduce(三)
在学习过MapReduce框架的几个关键类和接口后(只是简单的说明了类或者接口的作用及使用方式,要想深入了解如何工作的就需要深入研究源代码了,这也是计划中的学习任务),接下来看看任务的执行和环境,主要 ...
Hadoop学习之MapReduce(四)
接下来是跟MapReduce目录结构有关的参数.首先看两个参数,分别为在core-default.xml中定义的hadoop.tmp.dir,其默认值为/tmp/hadoop-${user.name} ...
Hadoop学习之MapReduce(二)
在通过WordCount的例子直观地了解了MapReduce框架的作业如何编写后,现在对MapReduce框架中的关键接口或者类进行深入地地探索和学习.主要讲解Hadoop1.x中的接口和类,也就是o ...
Hadoop学习之Mapreduce执行过程详解
一.MapReduce执行过程 MapReduce运行时,首先通过Map读取HDFS中的数据,然后经过拆分,将每个文件中的每行数据分拆成键值对,最后输出作为Reduce的输入,大体执行流程如下图所示: ...
Hadoop学习之MapReduce(五)
作业的提交和监控 Job为作业提交者提供了作业的视图,允许用户管理作业,提交作业,控制作业的执行和查询作业状态,比如跟踪map和reduce任务的执行进度.该类提供的set方法只有在作业已经被提交后才 ...
Hadoop学习之MapReduce分布式计算框架
目录一.本地模式 1.新建一个本地maven项目 2.修改prom依赖(maven) 3.新建一个包mapreduce,在该包中新建三个包 4.写mapper组件 5.写Reducer组件 6.写D ...
Hadoop学习全程记录——在Eclipse中运行第一个MapReduce程序
网友分享,拿来共享一下这是Hadoop学习全程记录第2篇,在这篇里我将介绍一下如何在Eclipse下写第一个MapReduce程序. 新说明一下我的开发环境: 操作系统:在windows下使用wub ...

Hadoop学习之MapReduce(一)

Hadoop学习之MapReduce(一)相关推荐

最新文章

热门文章