org.apache.hadoop.io
1.下面是主要的类层次图
2.Writable和WritableComparable的子类们基本大同小异
3.RawComparator和WritableComparator
/** A WritableComparator optimized for Text keys. */ public static class Comparator extends WritableComparator {public int compare(byte[] b1, int s1, int l1, byte[] b2, int s2, int l2){int n1 = WritableUtils.decodeVIntSize(b1[s1]);int n2 = WritableUtils.decodeVIntSize(b2[s2]);return compareBytes(b1, s1 + n1, l1 - n1, b2, s2 + n2, l2 - n2);} }
4.Text类应用广泛,值得仔细看下
5.*InputBuffer和*OutputBuffer
6.Hadoop 数据类型与文件结构 Sequence, Map, Set, Array, BloomMap Files
1.Hadoop’s SequenceFile
SequenceFile 是 Hadoop 的一个重要数据文件类型,它提供key-value的存储,但与传统key-value存储(比如hash表,btree)不同的是,它是appendonly的,于是你不能对已存在的key进行写操作。每一个key-value记录如下图,不仅保存了key,value值,也保存了他们的长度。
SequenceFile 有三种压缩态:
- Uncompressed – 未进行压缩的状态
- Record Compressed - 对每一条记录的value值进行了压缩(文件头中包含上使用哪种压缩算法的信息)
- Block-Compressed – 当数据量达到一定大小后,将停止写入进行整体压缩,整体压缩的方法是把所有的keylength,key,vlength,value 分别合在一起进行整体压缩
文件的压缩态标识在文件开头的header数据中。
在header数据之后是一个Metadata数据,他是简单的属性/值对,标识文件的一些其他信息。Metadata 在文件创建时就写好了,所以也是不能更改的。
2.MapFile, SetFile, ArrayFile 及 BloomMapFile
SequenceFile 是Hadoop 的一个基础数据文件格式,后续讲的 MapFile, SetFile, ArrayFile 及 BloomMapFile 都是基于它来实现的。
- MapFile – 一个key-value 对应的查找数据结构,由数据文件/data 和索引文件 /index 组成,数据文件中包含所有需要存储的key-value对,按key的顺序排列。索引文件包含一部分key值,用以指向数据文件的关键位置。
- SetFile – 基于 MapFile 实现的,他只有key,value为不可变的数据。
- ArrayFile – 也是基于 MapFile 实现,他就像我们使用的数组一样,key值为序列化的数字。
- BloomMapFile – 他在 MapFile 的基础上增加了一个 /bloom 文件,包含的是二进制的过滤表,在每一次写操作完成时,会更新这个过滤表
7.值得提一下binary stream with zero-compressed encoding
/** * Serializes a long to a binary stream with zero-compressed encoding. * For -112 <= i <= 127, only one byte is used with the actual value. * For other values of i, the first byte value indicates whether the * long is positive or negative, and the number of bytes that follow. * If the first byte value v is between -113 and -120, the following long * is positive, with number of bytes that follow are -(v+112). * If the first byte value v is between -121 and -128, the following long * is negative, with number of bytes that follow are -(v+120). Bytes are * stored in the high-non-zero-byte-first order. * * @param stream Binary output stream * @param i Long to be serialized * @throws java.io.IOException */ /* * 将一个long类型的i,写入输出流DataOutput中 * 如果 -112 <= i <= 127,只使用一个byte表示i并写入输出流中 * 第一个字节表示i的正负和接下来表示i的字节数 * 如果第一个字节-113 <= v <= -120,那么i是正数,并且接下来i占的字节数是-(v+112)(也就是1到8个字节之间) * 如果第一个字节-121 <= v <= -128,那么i是负数,并且接下来的i占的字节数是-(v+120)(也就是1到8个字节之间) * 写入时先写i的高位,再写低位 * */ public static void writeVLong(DataOutput stream, long i) throws IOException { if (i >= -112 && i <= 127) { stream.writeByte((byte)i); return; } int len = -112; if (i < 0) { i ^= -1L; // take one's complement' len = -120; } long tmp = i; while (tmp != 0) { tmp = tmp >> 8; len--; } stream.writeByte((byte)len); len = (len < -120) ? -(len + 120) : -(len + 112); for (int idx = len; idx != 0; idx--) { int shiftbits = (idx - 1) * 8; long mask = 0xFFL << shiftbits; stream.writeByte((byte)((i & mask) >> shiftbits)); } }
8.参考url
org.apache.hadoop.io相关推荐
- java.lang.UnsatisfiedLinkError:org.apache.hadoop.io.nativeio.NativeIO$Windows.access0
java.lang.UnsatisfiedLinkError:org.apache.hadoop.io.nativeio.NativeIO$Windows.access0 出现这个错误之前,我的 Ha ...
- 解决org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)
1.复制以下代码 /*** Licensed to the Apache Software Foundation (ASF) under one* or more contributor licens ...
- Exception in thread main java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Wi
该错误和我的上一篇博文ERROR [org.apache.hadoop.util.Shell] - Failed to locate the winutils binary in the hadoop ...
- Exception in thread main java.lang.UnsatisfiedLinkError: org.apache.hadoop.io .nativeio.NativeIO$W
在eclipse 调试mapreduce程序会报以下错误: Exception in thread "main" java.lang.UnsatisfiedLinkError: o ...
- PySpark用saveAsTextFile写入Windows本地文件系统失败java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio
output_rdd.saveAsTextFile(path=r'../datas/word_rep_output') 写入Windows本地文件系统文件报错 22/07/16 15:23:07 ER ...
- at org.apache.hadoop.io.serializer.SerializationFactory.getSerializer(Serializat
Hadoop运行job的时候抛出异常如下: java.lang.NullPointerException at org.apache.hadoop.io.serializer.Serializatio ...
- 关于hadoop的环境配置出错问题org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
关于:::**Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nat ...
- 解决org.apache.hadoop.io.nativeio.NativeIOException: 当文件已存在时,无法创建该文件。
Hadoop在本地运行的时候总是出现这个异常,虽然这个异常不影响代码运行,但是看着很不爽 1,找到log4j.properties文件,查看log4j.rootLogger,但是却没有debug lo ...
- 解决 org.apache.hadoop.io.nativeio.NativeIO$POSIX.stat异常
原因是我的maven使用的hadoop版本是3.1.2, 但是系统环境变量配置的hadoop的版本是3.0.0, 所以造成这个异常. 解决方案:将两个版本改成一致,如果修改的是系统环境变量,请重启电脑 ...
最新文章
- PAT甲级题目翻译+答案 AcWing(高精度)
- 2017/Province_C_C++_A/2/跳蚱蜢
- python送心小人_使用Python画出小人发射爱心的代码
- svm解决兵王问题_机器学习: svm
- 从地理围栏看物联网安防
- 2.3_circular_queue_环形队列
- python玩王者荣耀皮肤碎片怎么获得_教你用Python代码免费获取王者荣耀全英雄皮肤...
- stn专线和otn有什么区别_专线网络和家庭宽带有什么区别?
- GIS应用实例--模型预测、多元回归、空间自相关分析
- 安装VMware虚拟机及镜像文件
- 计算机方向键不能使用,电脑键盘中的数字按键不能用是什么原因?
- 【交换基础】交换基础知识总结
- vue下载二进制流图片
- 北京亚控笔试题目(2014年10月9日)
- HTML中的src、href
- 初识云计算和DevOps
- 关于SQLServer2005的学习笔记——CTE递归和模拟测试数据
- javascript合并多层级数组
- jenkins报错:java.lang.illegalstateexception already existed will not overwrite with
- linux centos 7 系统性能查询、DHCP租期信息查询、网络五元组
热门文章
- 【组合数学】指数生成函数 ( 证明指数生成函数求解多重集排列 )
- PYTHON 数据分析常用类库
- 大数据笔记(六)——HDFS的底层原理:JAVA动态代理和RPC
- 第 21 章 —— 单例模式
- macOS下加载动态库dylib报code signature invalid错误的解决办法
- 双击打开excel时提示:向程序发送命令时出现问题
- 前20个关于FLEX技术、源码、实例、技巧的网站.
- [导入]ubuntu全面介绍 与 ubuntu截图
- 【Java并发编程】20、DelayQueue实现订单的定时取消
- Android Studio Emulator 提示 “/dev/kvm is not found” 解决办法