一、MapReduce

MapReduce是Google提出的一个软件架构，用于大规模数据集（大于1TB）的并行运算。概念“Map（映射）”和“Reduce（归纳）”，及他们的主要思想，都是从函数式编程语言借来的，还有从矢量编程语言借来的特性。

当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（归纳）函数，用来保证所有映射的键值对中的每一个共享相同的键组。

二、MapReduce开发环境搭建

环境准备： Java， Intellij IDEA， Maven
开发环境搭建方式

java安装链接及步骤：https://www.cnblogs.com/de-ming/p/13909440.html

2.1、Maven环境

添加依赖

https://search.maven.org/artifact/org.apache.hadoop/hadoop-client/3.1.4/jar

添加源码

2.2、手动导入Jar包

Hadoop安装包链接：https://pan.baidu.com/s/1teHwnBH2Qm6F7iWZ3q-hSQ
提取码：cgnb

新建一个java工程

然后，搜JobClient.class，点击’Choose Sources’

这样就OK了，可以看到JobClient.java

三、MapReduce单词计数源码分析

3.1、打开WordCount.java

打开：https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-mapreduce-examples/3.1.4，复制Maven里面的内容

粘贴到源码

搜索WordCount

3.2、源码分析

3.2.1、MapReduce单词计数源码 : Map任务

3.2.2、MapReduce单词计数源码 : Reduce任务

3.2.3、MapReduce单词计数源码 : main 函数

设置必要参数及组装MapReduce程序

学习笔记Hadoop（十三）—— MapReduce开发入门（1）—— MapReduce开发环境搭建、MapReduce单词计数源码分析相关推荐

小猫爪：S32K3学习笔记01-S32K3 RTD【MCALSDK】的使用和环境搭建
S32K3学习笔记01-S32K3 RTD[MCAL&SDK]的使用和环境搭建 1 前言 2 准备工作 3 安装 3.1 安装EB Tresos 3.2 安装MCAL 3.2 安装S32DS ...
Jetson Xavier NX学习笔记（三）系统烧录+开机教程+YOLOv7环境搭建+错误总结（详细版）
Jetson Xavier NX 系统烧录+开机教程+YOLOv7环境搭建+错误总结(详细版) 文章目录 Jetson Xavier NX 系统烧录+开机教程+YOLOv7环境搭建+错误总结(详细版) ...
Hololens2开发入门（一）环境搭建
Hololens开发环境配置主要分为两块一.unity环境搭建本贴以2021.3.16f1c1版本为例,需要勾选 1.安卓板块 2.ios板块 3.universal windows platfo ...
硬件学习笔记（一）AD入门+STM32C8T6最小开发板得制作
参考视频: Altium Designer 20 19(入门到精通全38集) 2小时教你用AD19画一块STM32最小系统板工程及库文件的建立首先建立一个工程文件更改工程文件的路径和名称,左侧保 ...
Spring Security技术栈学习笔记（十三）Spring Social集成第三方登录验证开发流程介绍
开发第三方登录,我们必须首先要了解OAuth协议(本文所讲述的OAuth协议指的是OAuth2协议),本文首先简单介绍OAuth协议,然后基于Spring Social来阐述开发第三方登录需要做哪些准 ...
获取编译学习笔记（十三）—— 外部中断
疯狂暑期学习汇编入门学习笔记 (十三)-- 外中断參考: <汇编语言> 王爽第15章 1.外中断信息外中断分为可屏蔽中断和不可屏蔽中断可屏蔽中断先看看内中断所引发的中断过程 ...
【学习笔记】爬虫框架Scrapy入门
一. Scrapy简介.架构.数据流和项目结构二. Scrapy入门 1. Scrapy架构由哪些部分组成? 1.1 Scrapy简介 Scrapy是:由Python语言开发的一个快速.高层次的屏幕 ...
Python学习笔记（十三）：异常处理机制
Python学习笔记(十三):异常处理机制关于Python的异常处理机制 Python学习笔记(十三):异常处理机制一.异常处理机制常见异常类型二.异常处理 try...except 异常类的 ...
Python学习笔记--10.Django框架快速入门之后台管理admin（书籍管理系统）
Python学习笔记--10.Django框架快速入门之后台管理一.Django框架介绍二.创建第一个Django项目三.应用的创建和使用四.项目的数据库模型 ORM对象关系映射 sqlite ...

学习笔记Hadoop（十三）—— MapReduce开发入门（1）—— MapReduce开发环境搭建、MapReduce单词计数源码分析