HBase之KeyValueScanner

一首先我们看一下Key Value 是怎么在HFile上存储的

其中Key Length =Key的基础大小+Row Key Length+ Column Family

Length + Qualifier Length

Key的基础大小 = 存储rowkey length的大小 + 存储column family

Length的大小 + 存储TimeStamp的大小 + 存储Key类型的大小

= 2 + 1 + 8 + 1 = 12

二各种类型的Scanner介绍

2.1 InternalScanner 和 KeyValueScanner区别

InternalScanner：我们可以获取一个KeyValue的List，KeyValueScanner

是一个可以向外迭出KeyValue的一个scanner，只能获取一个KeyValue

RegionScanner，StoreScanner，KeyValueHeap实现了InternalScanner

StoreScanner，MemStoreScanner,StoreFileScanner实现了KeyValueSca

Nner

2.2 如何组织一组相似或者相同的Scanner

一个RegionScanner是由一组StoreScanner组成的，一个StoreScanner是由一个MemStoreScanner和多个StoreFileScanner组成的，所有的scanners通过KeyValueHeap进行merge

成员变量heap: 是一个优先级队列，用来存储child scanners

2.3 如何从一个scanner转化为其他的scanner

优先级队列：

每一次从队列里选举一个scanner，使用之后又放回去，如果peek出来的next keyvalue是null，则表示已经scan完毕。所以我们应该关掉它，不需要把它放回去。选举出哪一个由以下的Comparator来决定：

Peek: 只是查看scanner下一个KeyValue，但是并不会迭代这个

Scanner。

一个StoreFileScanner切换到另外一个StoreFileScanner是很容易的，只要一个StoreFileScanner完成，并且关闭就可以切换到另一个StoreFileScanenr。

如何从StoreFile Scanner寻找一个给定KeyVaue？

This is the flow of seeking:

Figure 10 How toseek a KeyValue

总结所有的scanner，并寻找他们的关系：

KeyValueHeap: 这个类主要用于跨store或者跨storefile的merge工作，它是RegionScannerImpl和StoreScanner的成员变量。

RegionScannerImpl：使用KeyValueHeap进行跨store的KeyValue的合并

StoreScanner: 使用KeyValueHeap进行memstore和storefile的合并

所以，我们也可以理解为KeyValueHeap是一个parent-level的scanner，它有一个或多个child-level的scanners，在这个类的实例化期间，它会加载所有的childscanner

KeyValueScanner: 它主要用于获取下一个KeyValue，同时他还可以不用遍历的情况下查看下一个KeyValue

InternalScanner：它主要用于获取一些KeyValue(我们可以通过参数指定获取多少key value，默认是一行的所有的KeyValue

Scanner关闭流程如下：

HBase之KeyValueScanner相关推荐

JAVA_基础部分_综合篇
JVM (1) 基本概念: JVM是可运行Java代码的假想计算机 ,包括一套字节码指令集.一组寄存器.一个栈.一个垃圾回收,堆和一个存储方法域.JVM 是运行在操作系统之上的,它与硬件没有直接的 ...
hbase源码系列（十二）Get、Scan在服务端是如何处理？
继上一篇讲了Put和Delete之后,这一篇我们讲Get和Scan, 因为我发现这两个操作几乎是一样的过程,就像之前的Put和Delete一样,上一篇我本来只打算写Put的,结果发现Delete也可以 ...
关于hbase的read操作的深入研究 region到storefile过程
关于hbase的read操作的深入研究 region到storefile过程这里面说的read既包括get,也包括scan,实际底层来看这两个操作也是一样的. 我们将要讨论的是,当我们从一张表读取数 ...
HBase之BloomFilter
HBase的Get/Scan操作流程 hbase中有BloomFilter的功能,可以在有些情况下过滤掉不需要的hfile,节省IO. BloomFilter作用 BloomFilter在HBas ...
HBase中Bloomfilter类型的设置及使用的理解
1.Bloomfilter的原理? 可参考 http://hi.baidu.com/yizhizaitaobi/blog/item/cc1290a0a0cd69974610646f.html 2 ...
HBase读链路分析
简介:HBase的存储引擎是基于LSM-Like树实现的,更新操作不会直接去更新数据,而是使用各种type字段(put,delete)来标记一个新的多版本数据,采用定期compaction的形式来归档 ...
HBase数据读取流程解析
一客户端GET读客户端GET读其实没有什么逻辑,就简单几个步骤: 1.1 connection 根据表名,行健得到从哪一个RegionServer和Region上去读 1.2 通过Region信 ...
HBase Flush 解析
在对hbase操作中,数据读取/写入都是发生在某个HRegion下某个Store里的files.那么究竟在写入hbase时,一个region下到底发生了什么呢? 常见的有以下三种情况: 1).mems ...
HBase应该知道的
1 摘要本文是一篇HBase学习综述,将会介绍HBase的特点.对比其他数据存储技术.架构.存储.数据结构.使用.过滤器等. 关于Phoenix on HBase,即Sql化的HBase服务,可以参 ...

HBase之KeyValueScanner

HBase之KeyValueScanner相关推荐

最新文章

热门文章