Hbase预分区入门

什么是Hbase 预分区?

在建表的时候,可以给每个region划分不同的rowkey范围.
之后在插入数据的时候,数据就会依据rowkey的不同进入到不同的region中.当然,每个region在hdfs上也存在不同的文件中.

为什么要预分区?

因为系统是到达一定大小自动拆分region,未必满足实际的需求.

如何预分区?

每一个region都维护着startRow与endRowKey，如果加入的数据符合某个region维护的rowKey范围，则该数据交给这个region维护。那么依照这个原则，我们可以将数据所要投放的分区提前大致的规划好，以提高HBase性能。

hbase(main):001:0> create 'csdn:test','f1',SPLITS=>['1000','2000','3000','4000']=> Hbase::Table - csdn:test
hbase(main):002:0> describe 'csdn:test'
Table csdn:test is ENABLED
csdn:test
COLUMN FAMILIES DESCRIPTION
{NAME => 'f1', BLOOMFILTER => 'ROW', VERSIONS => '1', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER'
, COMPRESSION => 'NONE', MIN_VERSIONS => '0', BLOCKCACHE => 'true', BLOCKSIZE => '65536', REPLICATION_SCOPE => '0'}

可以从webui查看

http://192.168.10.102:16010/

之后我们插入数据,就会依据rowkey的不同,进入到不同的分区中间

hbase(main):003:0> put 'csdn:test','0001','f1:name','zhangsan'hbase(main):004:0> put 'csdn:test','1001','f1:name','lisi'hbase(main):005:0> put 'csdn:test','2001','f1:name','liming'hbase(main):006:0> put 'csdn:test','3001','f1:name','wangdi'hbase(main):007:0> put 'csdn:test','4001','f1:name','jingwen'hbase(main):008:0> scan 'csdn:test'
ROW                                     COLUMN+CELL0001                                   column=f1:name, timestamp=1606705920401, value=zhangsan1001                                   column=f1:name, timestamp=1606705932708, value=lisi2001                                   column=f1:name, timestamp=1606705943409, value=liming3001                                   column=f1:name, timestamp=1606705955181, value=wangdi4001                                   column=f1:name, timestamp=1606705970585, value=jingwenhbase(main):009:0> flush 'csdn:test'

在hdfs上,也会存储到不同的位置

Hbase预分区入门相关推荐

hbase 预分区设计
文章目录 hbase 预分区设计一.手动切割分区二.自动切割分区三.预先切割分区四.三种预分区方式 1.范围预分区 2.16进制预分区 3.按文件中的分区 hbase 预分区设计 hbase ...
storm自定义分组与Hbase预分区结合节省内存消耗
Hbas预分区在系统中向hbase中插入数据时,常常通过设置region的预分区来防止大数据量插入的热点问题,提高数据插入的效率,同时可以减少当数据猛增时由于Region split带来的资源消耗. ...
hbase 预分区_hbase的rowKey设计原则
前言访问hbase table中的行,只有三种方式: 1 通过单个row key访问 2 通过row key的range 3 全表扫描可以看出rowkey设计的好与坏直接决定了查询速度,在hbas ...
Hbase预分区与优化
Hbase支持两种读读操作,Scan & Get两种,Get在hbase的内部也是会转换成startRow == endRow的操作,所以本文就只介绍Get操作. Scan的实际执行者是Reg ...
hbase Normalizer解决预分区错误，在不动数据的情况下完美解决热点问题
(转) http://www.aboutyun.com/forum.php?mod=viewthread&tid=24292 1.对于预分区错误,hbase使用什么功能解决? 2.Regio ...
shell和javaAPI两种方式创建hbase表并预分区
在hbase里面,如果我们建表不预分区,那么一个表的数据都会被一个region处理,如果数据过多就会执行region的split,如果数据量很大这样会很费性能,所以最好我们先根据业务的数据量在建表的时 ...
hbase热点问题解决（预分区）
一.出现热点问题原因 1.hbase的中的数据是按照字典序排序的,当大量连续的rowkey集中写在个别的region,各个region之间数据分布不均衡: 2.创建表时没有提前预分区,创 ...
phonex的使用，二级索引，预分区，调优
文章目录一.基本指令 1)创建表 2)删除表 3)插入数据 4)查询数据 5)删除数据 6)退出命令行二.映射 1)视图映射创建视图查询视图删除视图 2)表映射删除表 3)视图映射和表映射 ...
HBase系列从入门到精通（二）
1.HBase进阶 1.1.RegionServer 架构 StoreFile 保存实际数据的物理文件,StoreFile以Hfile的形式存储在HDFS上.每个Store会有一个或多个StoreFi ...

Hbase预分区入门

什么是Hbase 预分区?

为什么要预分区?

如何预分区?

Hbase预分区入门相关推荐

最新文章

热门文章