文章目录

一、输出文件格式及序列化文件生成
- 1.1、输出文件格式
- 1.2、设置输出SequenceFileOutputFormat文件格式
二、输入文件格式及序列化文件读取
- 2.1、输入数据文件类型
- 2.2、设置输入SequenceFileInputFormat文件格式
三、使用Partitioner优化程序
- 3.1、自定义单词计数
四、本地提交MapReduce程序
- 4.1、自定义单词计数

一、输出文件格式及序列化文件生成

1.1、输出文件格式

默认输出类型是：TextOutputFormat

1.2、设置输出SequenceFileOutputFormat文件格式

流程（Mapper、Reducer、Main、打包运行）
（参考SortByCountFirst程序）

Main函数

运行Job：

打包上传后，查看：
(master:8088)

(master:50070)

（终端查看：hdfs dfs -text sortbycountfirstseq_output00/part-r-00000 | head -2）

二、输入文件格式及序列化文件读取

2.1、输入数据文件类型

默认输入类型是：TextInputFormat

2.2、设置输入SequenceFileInputFormat文件格式

流程（Mapper、Reducer、Main、打包运行）
（参考SortByCountSecond程序）

Mapper函数

Main函数

结果查看：

三、使用Partitioner优化程序

只有一个reducer的话，Partitioner是没有用处的

3.1、自定义单词计数

Partitioner
(添加，可以查找HashPartitioner.java找完后修改)

Main函数

查看结果

四、本地提交MapReduce程序

4.1、自定义单词计数

Main 函数

可能出现的问题及解决方法：
1、问题：

解决：修改权限

2、问题：

任务提交仍然失败！
（日志）

解决：添加文件

学习笔记Hadoop（十五）—— MapReduce编程进阶相关推荐

JavaScript学习笔记（十五）
JavaScript学习笔记(十五) 事件事件是DOM(文档对象模型)的一部分.事件流就是事件发生顺序,这是IE和其他浏览器在事件支持上的主要差别. 一.事件流 1.冒泡型事件 IE上的解决方案就是 ...
OpenCV学习笔记（十五）：图像仿射变换：warpAffine(),getRotationMatrix2D()
OpenCV学习笔记(十五):图像仿射变换:warpAffine(),getRotationMatrix2D() 一个任意的仿射变换都能表示为乘以一个矩阵(线性变换)接着再加上一个向量(平移)的形式. ...
MATLAB学习笔记（十五）
MATLAB学习笔记(十五) 一.非线性方程求解与函数极值计算 1.1 非线性方程数值求解 1.2 函数极值的计算 1.2.1 无约束最优化问题 1.2.2 有约束最优化问题一.非线性方程求解与函数 ...
学习笔记（十五）——镜像的知识点与注意事项
学习笔记(十五)--镜像的知识点与注意事项一.基础知识 1.SQL Server镜像只有两种模式:高安全模式和高性能模式.两种模式的主要区别在于在事务提交后的操作. 在高性能模式下,主体服务器不需要 ...
cortex_m3_stm32嵌入式学习笔记（十五）：待机唤醒实验（WK_UP外部中断）
cortex_m3_stm32嵌入式学习笔记(十五):待机唤醒实验(WK_UP外部中断) https://blog.csdn.net/qq_16255321/article/details/43086 ...
Cty的Linux学习笔记（十五——wget）
Linux学习笔记--第十五篇 wget命令用于在终端中下载网络文件,格式为"wget [参数] 下载地址" 参数: -b:后台下载模式 -P:下载到指定目录 -t:最大尝试次 ...
学习笔记（十五）——MySQL（查询）
查询方法下面的查询都是对单表的查询,所以先创建表tb1(下面的tb1均代表此表) create table tb1(id int,name varchar(10),age int,class var ...
input回车触发事件_JavaScript学习笔记（十五）-- Event事件（上）
EVENT(上) 之前我们简单的了解过一些事件,比如 onclick / onload / onscroll / ... 今天开始,我们详细的学习一些事件什么是事件一个事件由什么东西组成触发谁 ...
MyBatis多参数传递之混合方式——MyBatis学习笔记之十五
在本系列文章的<MyBatis多参数传递之Map方式示例>一文中,网友mashiguang提问如下的方法如何传递参数:public List findStudents(Map condit ...
文件数据云计算学习笔记---Hadoop HDFS和MapReduce 架构浅析
本文是一篇关于文件数据的帖子媒介 Hadoop是一个基于Java的分布式麋集数据处理和数据分析的软件框架.Hadoop在很大程度上是受Google在2004年白皮书中论述的MapReduce技术的启 ...

学习笔记Hadoop（十五）—— MapReduce编程进阶