MapReduce的API介绍

MapReduce自带的InputFormat介绍：

SwquenceFile文件，<K,V>形式的二进制文件：

package squencefile;import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.SequenceFile;
import org.apache.hadoop.io.SequenceFile.Writer;
import org.apache.hadoop.io.Text;import java.io.IOException;public class GenerateSwquenceFile {public static void main(String[] args) throws IOException {//1、sequenceFile文件是通过SequenceFile类生成的//createWrite方法参数：conf：hadoop配置项，name：文件名//keyClass:key的数据类型；valClass:值得数据类型//指定文件名称Writer.Option name =Writer.file(new Path("file:/e:sf"));//指定key的类型Writer.Option keyClass=Writer.keyClass(LongWritable.class);//指定value的类型Writer.Option valClass = Writer.valueClass(Text.class);//hadoop配置项Configuration conf=new Configuration();//创建输出流Writer writer= SequenceFile.createWriter(conf,name,keyClass,valClass);//FileSystem fs =FileSystem.get(conf);FSDataInputStream in=fs.open(new Path("file:/e:/words.txt"));String line=null;Long num=0L;while((line = in.readLine() )!=null){++num;writer.append(new LongWritable(num),new Text(line));}//关闭输出流IOUtils.closeStream(writer);}
}

SequenceFileInputFormat的使用：

//输入文件FileInputFormat.addInputPath(job,new Path(args[0]));//指定以SequenceFileInputFormat处理sequenceFIle文件job.setInputFormatClass(SequenceFileInputFormat.class);//编写mapper处理逻辑job.setMapperClass(MyMapper.class);job.setMapOutputKeyClass(Text.class);job.setMapOutputValueClass(LongWritable.class);

inputSplite原理：

输入切片（InputSplite）
1、什么时候切片
client端进行切片，且丰厚交给Yarn进行处理
2、切片中存储的内容
数据长度、数据存储位置
3、切片大小
minSize = max{minSpliteSize,mapred.min.splite.size}
maxSize=mapred.max.splite.size
spliteSize=max{minSize,min{maxSize,blockSize}}
注意：minSpliteSize大小默认为1B；mapper数：文件大小/spliteSize
4、切片数量（mapper进程数量）
总文件大小/切片的大小

reduce个数设置：

outPutFormat输出格式：

注意输入和输出是针对内存和磁盘的，out：磁盘，in：内存。

指定文件输出格式：

//序列化问价的压缩类型：None、Block、RecordSequenceFileOutputFormat.setOutputCompressionType(job, SequenceFile.CompressionType.BLOCK);//default、gzip、lz4SequenceFileOutputFormat.setOutputCompressorClass(job, DefaultCodec.class);//格式化序列化输出job.setOutputFormatClass(SequenceFileOutputFormat.class);

partitioner分区器：
在mapper和reduce处理逻辑之间，shuffle写入流程开始的时候

Shuffle流程介绍：

shuffle流程架构：

shuffler读取流程：

MapReduce的API介绍相关推荐

学习笔记Hadoop（十四）—— MapReduce开发入门（2）—— MapReduce API介绍、MapReduce实例
四.MapReduce API介绍一般MapReduce都是由Mapper, Reducer 及main 函数组成. Mapper程序一般完成键值对映射操作; Reducer 程序一般完成键值对聚合 ...
HTML5 Audio标签方法和函数API介绍
问说网 > 文章教程 > 网页制作 > HTML5 Audio标签方法和函数API介绍 Audio APIHTML5HTML5 Audio预加载 HTML5 Audio标签方法和函 ...
Servlet基础（一） Servlet基础和关键的API介绍
转载:http://www.cnblogs.com/mengdd/p/3202550.html Servlet基础(一) Servlet简介关键API介绍及结合源码讲解 Servlet基础(一) S ...
Socket基础API介绍
文章目录 1 Socket基础API介绍 1 Socket基础API介绍我们先来看下使用Socket API建立简易TCP服务端和客户端的步骤: 用Socket API建立简易TCP服务端: 建立一 ...
TEE Internal core API介绍(globalplatform)
目录一.TEE的API介绍 1.Cryptographic Operations API 加解密函数介绍() (1).Generic Operation Functions TEE_Allocate ...
Globalplatform TEE api介绍
文章目录 1.TEE API介绍 2.Client API : CA与TA通信的API介绍 3.TEE API : TA系统调用TEE OS的API (1).Asymmetric (2).Authen ...
组合筛选vue_Vue 3 组合式API介绍
组合式API介绍通过创建 Vue 组件,我们可以将接口的可重复部分及其功能提取到可重用的代码段中.仅此一项就可以使我们的应用程序在可维护性和灵活性方面走得更远.然而,我们的经验已经证明,光靠这一点可 ...
科大讯飞cordova语音插件填坑及api介绍
项目要求语音合成,准备调用科大讯飞的cordova插件,百度仅有一篇有价值的参考文章(再吐槽下,百度搜索到各种复制的文章....),谷歌有2篇,但介绍不全,只用typescript列出api,没有ap ...
MapReduce Java API实例-排序
场景 MapReduce Java API实例-统计单词出现频率: https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/11941016 ...

MapReduce的API介绍

MapReduce的API介绍相关推荐

最新文章

热门文章