Hbase关于过滤器对表的操作

使用过滤器对表操作

Hbase关于过滤器对表的操作
scan方法实例
过滤器有：行键过滤器、列族与列过滤器、值过滤器、时间过滤器、行键过滤器
行键过滤器
列族与列过滤器
值过滤器
时间过滤器
分页过滤器

scan方法实例

hbase的查询实现提供两种方式(get和scan)：
1.按指定RowKey 获取唯一一条记录，用get方法
2.按指定的条件获取一批记录， scan 方法

scan扫描
全表扫描：scan “表名” （慎用，效率低）
限定只显示多少条：scan “表名”,{LIMIT=>XXX}
指定查询某几个列：scan “表名”,{LIMIT=>XXX,COLUMNS=>[]}
根据ROWKEY查询：scan “表名”,{STARTROW=>'1001',STOPROW=>'1003'}
根据ROWKEY来查询：scan “表名”,{LIMIT=>XXX,COLUMNS=>[], ROWPREFIXFILTER=>’ROWKEY’}
scan案例：

1、扫描出bookinfo的所有数据

scan 'booksystem:bookinfo'

2、获取前2行数据

scan 'booksystem:bookinfo' ,{LIMIT=>2}

3、获取前2行的name和price列

scan 'booksystem:bookinfo',{LIMIT=>2,COLUMNS=>['info1:name','info1:price']}

4、从102行数据开始显示数据

scan 'booksystem:bookinfo',{STARTROW=>'102',COLUMNS=>['info1:name','info1:price']}

5、显示102-103的数据

scan 'booksystem:bookinfo',{STARTROW=>'102',COLUMNS=>['info1:name','info1:price'],STOPROW=>'104'}

6、从102开始要1行数据

scan 'booksystem:bookinfo',{STARTROW=>'102',COLUMNS=>['info1:name','info1:price'],LIMIT=>1}

7、根据行键直接查询数据

scan 'booksystem:bookinfo',{ROWPREFIXFILTER=>'101',COLUMNS=>['info1:name','info1:price']}

在 HBase 中，get 和 scan 操作都可以使用过滤器来设置输出的范围，类似 SQL 里的 Where 查询条件。

过滤器有：行键过滤器、列族与列过滤器、值过滤器、时间过滤器、行键过滤器

使用过滤器的语法格式如下所示：

scan ‘表名’, { FILTER => “过滤器(比较运算符, ‘比较器’)” }
行键过滤器

行键过滤器

RowFilter 可以配合比较器和运算符，实现行键字符串的比较和过滤。
例如，匹配行键中大于 102 的数据，可使用 binary 比较器；匹配以 10 开头的行键，可使用 substring 比较器，
（大概就是明确就使用binary
模糊就使用substring）
注意 substring 不支持大于或小于运算符。

案例：
1、过滤出行键为101的数据

scan 'booksystem:bookinfo',FILTER=>"RowFilter(=,'binary:101')"

2、过滤出行键>=102的数据

scan 'booksystem:bookinfo',FILTER=>"RowFilter(>=,'binary:102')"

3、过滤出行键是10开头的数据

scan 'booksystem:bookinfo',FILTER=>"RowFilter(=,'substring:10')“

4、过滤出行键中包含3的数据

scan 'booksystem:bookinfo',FILTER=>"RowFilter(=,'substring:3')"

列族与列过滤器

针对列族进行过滤的过滤器为 FamilyFilter，其语法结构与 RowFilter 类似，不同之处在于 FamilyFilter 是对列族名称进行过滤的。例如，以下命令扫描Student表显示列族为 Grades 的行。

scan 'Student', FILTER=>" FamilyFilter(= , 'substring:Grades')"

1、过滤出列族为info2的列数据

scan 'booksystem:bookinfo',FILTER=>"FamilyFilter(=,'binary:info2')“

2、过滤出列族名包含info的数据

scan 'booksystem:bookinfo',FILTER=>"FamilyFilter(=,'substring:info')

案例
1、过滤出type列 QualifierFilter

scan 'booksystem:bookinfo',FILTER=>"QualifierFilter(=,'substring:type')”

2、过滤出包含e的列

scan 'booksystem:bookinfo',FILTER=>"QualifierFilter(=,'substring:e')“

3、过滤出列名以n 开头的列 ColumnPrefixFilter

scan 'booksystem:bookinfo',FILTER=>"ColumnPrefixFilter('n')“

4、过滤出列名前缀为n和p的列 MultipleColumnPrefixFilter

scan 'booksystem:bookinfo',FILTER=>"MultipleColumnPrefixFilter('n','p')"

5、过滤出name-type之间的列 ColumnRangeFilter

scan 'booksystem:bookinfo',FILTER=>"ColumnRangeFilter('name',true,'type',false)"`

值过滤器

在 HBase 的过滤器中也有针对单元格进行扫描的过滤器，即值过滤器

1、查询值里面包含a的数据

scan 'booksystem:bookinfo',FILTER=>"ValueFilter(=,'substring:a')“

2、查询在info1的列族中name的值为python的数据 SingleColumnValueFilter

scan 'booksystem:bookinfo',FILTER=>"SingleColumnValueFilter('info1','name',=,'binary:python')“

3、查询以n开头的列，并且值为python的数据

scan 'booksystem:bookinfo',FILTER=>"ColumnPrefixFilter('n') AND ValueFilter(=,'substring:python')"

时间过滤器

过滤出时间在1632304196714,1637730331143的数据

scan "booksystem:bookinfo",FILTER=>"TimestampsFilter(1632304196714,1637730331143)“

分页过滤器

scan "booksystem:bookinfo",{STARTROW=>'101',FILTER=>"PageFilter(2)"}