1.FileInputFormat的实现类

FileInputFormat常见的接口实现类包括：TextInputformat,KeyValueTextInputFormat,NLineInputFormat,CombineTextInputFormat和自定义的InputFormat等；

2.TextInputFormat

TextInputFormat时默认的FileInputFormat实现类。按行读取每条记录。键是存储该行在整个文件的起始字节偏移量，LongWritable类型。值是这行的内容，不包括任何终止符（换行符和回车符），Text类型。

2.1TextInputFormat实例

3.KeyValueTextInputFormat

每一行均为一条记录，被分割符分割为key，value.可以通过在驱动类中设置conf.set(KeyValueLineRecordReader.KEY_VALUE_SEPERATTOR,"\t");来设定分隔符。默认分隔符是tab(\t)。

3.1TextInputFormat实例

4.NLineInputFormat

使用NLineInputFormat,代表每个map进程处理的InputSplit不再按Block块去划分，而是按NLineInputFormat指定的行数来划分，即输入文件的总行数/N=切片数，如果不整除，切片数=商+1。

4.1NLineInputFormat

大数据之Hadoop(MapReduce)：FileInputFormat实现类相关推荐

【快速入门大数据】hadoop和它的hdfs、yarn、mapreduce
文章目录导学大数据概述初识Hadoop 概述核心组件 HDFS分布式文件系统资源调度系统YARN MapReduce 优势发展史生态系统发行版本选择企业应用案例第3章分布式文件系 ...
大数据之Hadoop学习——动手实战学习MapReduce编程实例
文章目录一.MapReduce理论基础二.Hadoop.Spark学习路线及资源收纳三.MapReduce编程实例 1.自定义对象序列化需求分析报错:Exception in thread ...
大数据技术之MapReduce
大数据技术之MapReduce 目录大数据技术之MapReduce 第 1 章 MapReduce 概述 1.1 MapReduce 定义 1.2 MapReduce 优缺点 1.2.1 优点 1. ...
大数据知识面试题-MapReduce和YARN（2022版）
序列号内容链接 1 大数据知识面试题-通用(2022版) https://blog.csdn.net/qq_43061290/article/details/124819089 2 大数据知识面试 ...
GitChat · 大数据 | 一步一步学习大数据：Hadoop 生态系统与场景
目录(?)[-] Hadoop概要 Hadoop相关组件介绍 HDFS Yarn Hive HBase Spark Other Tools Hadoop集群硬件和拓扑规划硬件配置软件配置 Hado ...
Hadoop专业解决方案-第1章大数据和Hadoop生态圈
一.前言: 非常感谢Hadoop专业解决方案群:313702010,兄弟们的大力支持,在此说一声辛苦了,经过两周的努力,已经有啦初步的成果,目前第1章大数据和Hadoop生态圈小组已经翻译完成,在此 ...
大数据与Hadoop有什么关系？大数据Hadoop入门简介
学习着数据科学与大数据技术专业(简称大数据)的我们,对于"大数据"这个词是再熟悉不过了,而每当我们越去了解大数据就越发现有个词也会一直被提及那就是--Hadoop 那Hadoop与 ...
大数据和Hadoop平台介绍
大数据和Hadoop平台介绍定义大数据是指其大小和复杂性无法通过现有常用的工具软件,以合理的成本,在可接受的时限内对其进行捕获.管理和处理的数据集.这些困难包括数据的收入.存储.搜索.共享.分析和 ...
大数据技术Hadoop入门理论系列之一----hadoop生态圈介绍
Technorati 标记: hadoop,生态圈,ecosystem,yarn,spark,入门 1. hadoop 生态概况 Hadoop是一个由Apache基金会所开发的分布式系统基础架构. 用 ...

大数据之Hadoop(MapReduce)：FileInputFormat实现类

目录