笔记：Hadoop权威指南第4章 Hadoop I/O

一、HDFS数据完整性保证

1、DataNode在读取和写入的时候验校验和

2、后台线程DataBlockScanner 也会检查校验和

3、若检查到检验和错误，则报告namenode，自动进行删除、复制、恢复操作。

二、压缩

1、好处：减少存储的磁盘空间；加速数据在网络和磁盘上的传输。

2、支持切分的压缩：bzip2 (LZO不支持)

3、Map任务中进行压缩，可以减少数据量，提升性能。

三、序列化

1、序列化用途：远程通信、持久存储。

2、Writable接口：实现 write (DataOutput out), readFields(DataInput in) 方法。

3、WriteComparable 接口：

4、Writable 类：IntWritable、VintWritable、LongWritable、VlongWritable、FloatWritable、DoubleWritable、BooleanWritable、Text、BytesWritable、NullWritable、ObjectWritable

5、Writable集合：ArrayWritable、TwoDArrayWritable、MapWritable、SortedMapWritable

四、基于文件的数据结构

1、SequenceFile

用途：(1)、记录二进制类型；(2)、将小文件包装起来，获得更高效率的存储和处理。

2、MapFile

MapFile 就是已经排序的SequenceFile，加入了用于搜索键的索引。

转载于:https://www.cnblogs.com/leeeee/p/7276215.html

笔记：Hadoop权威指南第4章 Hadoop I/O相关推荐

《Hadoop权威指南》第二章关于MapReduce
<Hadoop权威指南>第二章关于MapReduce 目录使用Hadoop来数据分析横向扩展注:<Hadoop权威指南>重点学习摘要笔记 1. 使用Hadoop来数据分 ...
笔记：Hadoop权威指南第1章初识Hadoop
大数据处理遇到问题: (1).磁盘存储容量快速增加,但是访问速度进步不大:用户乐意使用磁盘共享访问. (2).硬件故障,可以使用备份解决. (3).分布式系统,需要可靠性. 关系数据库与MapRedu ...
读书笔记《Hadoop权威指南第4版(Hadoop The Definitive Guide 4th)》
Chapter 1 Meet Hadoop Data Storage and Analysis The problem is simple: although the storage capaciti ...
《Hadoop权威指南》第三章 Hadoop分布式文件系统
<Hadoop权威指南>第三章 Hadoop分布式文件系统目录前言 HDFS的设计 HDFS的概念命令行接口 Hadoop文件系统 Java接口数据流通过distcp并行复制注 ...
《Hadoop权威指南》读书笔记1
<Hadoop权威指南>读书笔记 Day1 第一章 1.MapReduce适合一次写入.多次读取数据的应用,关系型数据库则更适合持续更新的数据集. 2.MapReduce是一种线性的可伸缩 ...
《Hadoop 权威指南》读书笔记之七 — chapter7
<Hadoop 权威指南>读书笔记之七 - chapter7[updating-] The whole process of MapReduce at the highes level,t ...
Hadoop权威指南学习笔记三
HDFS简单介绍声明:本文是本人基于Hadoop权威指南学习的一些个人理解和笔记,仅供学习參考.有什么不到之处还望指出,一起学习一起进步. 转载请注明:http://blog.csdn.net/my ...
Hadoop权威指南学习笔记一
Hadoop简单介绍声明:本文是本人基于Hadoop权威指南学习的一些个人理解和笔记,仅供学习參考,有什么不到之处还望指出.一起学习一起进步. 转载请注明:http://blog.csdn.net/ ...
《Hadoop权威指南》学习笔记（一）
本博文是我学习<Hadoop权威指南>3.5节的笔记,主要是里面范例程序的实现,部分实现有修改 1 从Hadoop读取数据首先新建一个文本文件test.txt作为测试 hadoop fs ...

笔记：Hadoop权威指南第4章 Hadoop I/O

笔记：Hadoop权威指南第4章 Hadoop I/O相关推荐

最新文章

热门文章

笔记：Hadoop权威指南 第4章 Hadoop I/O

笔记：Hadoop权威指南 第4章 Hadoop I/O相关推荐

最新文章

热门文章

笔记：Hadoop权威指南第4章 Hadoop I/O

笔记：Hadoop权威指南第4章 Hadoop I/O相关推荐