hbase 预分区设计

2024-05-10 15:43:37

文章目录

hbase 预分区设计
- 一、手动切割分区
- 二、自动切割分区
- 三、预先切割分区
- 四、三种预分区方式
- - 1、范围预分区
  - 2、16进制预分区
  - 3、按文件中的分区

hbase 预分区设计

hbase 有三种分区方式

一、手动切割分区

通过命令，对现有的表进行startrow和stopwor切割，形成分区

二、自动切割分区

当region达到设定的大小后，hbase会对表进行startrow和stoprow切割，由于切割发生的时间是不确定的，切割是阻塞，影响性能

三、预先切割分区

预分区是在建表的时候，对表进行分区切割，规避自动切割

四、三种预分区方式

1、范围预分区

disable ‘staff1’
drop ‘staff1’
create ‘staff1’,‘info’,SPLITS=>[‘1000’,‘2000’,‘3000’,‘4000’] 直接使用最后一行命令

2、16进制预分区

disable ‘staff2’
drop ‘staff2’
create ‘staff2’,‘info’,{NUMREGIONS=>15,SPLITALGO=>‘HexStringSplit’}
直接使用最后一行命令

3、按文件中的分区

echo “aaaa”>>splits.txt
echo “bbbb”>>splits.txt
echo “cccc”>>splits.txt
echo “dddd”>>splits.txt

disable ‘staff3’
drop ‘staff3’
create ‘staff3’,‘info’,SPLITS_FILE=“splits.txt”
直接使用最后一行命令

hbase 预分区设计相关推荐

Hbase预分区入门
什么是Hbase 预分区? 在建表的时候,可以给每个region划分不同的rowkey范围. 之后在插入数据的时候,数据就会依据rowkey的不同进入到不同的region中.当然,每个region在h ...
hbase 预分区_hbase的rowKey设计原则
前言访问hbase table中的行,只有三种方式: 1 通过单个row key访问 2 通过row key的range 3 全表扫描可以看出rowkey设计的好与坏直接决定了查询速度,在hbas ...
storm自定义分组与Hbase预分区结合节省内存消耗
Hbas预分区在系统中向hbase中插入数据时,常常通过设置region的预分区来防止大数据量插入的热点问题,提高数据插入的效率,同时可以减少当数据猛增时由于Region split带来的资源消耗. ...
Hbase预分区与优化
Hbase支持两种读读操作,Scan & Get两种,Get在hbase的内部也是会转换成startRow == endRow的操作,所以本文就只介绍Get操作. Scan的实际执行者是Reg ...
【Hbase】（十一）详解 HBase 表的设计原则
文章目录一.建表高级属性 1. BLOOMFILTER 2. VERSIONS 3. COMPRESSION 4. TTL 5. alter 6. describe/desc 7. disable_ ...
HBase的表设计笔记
HBase的RowKey设计 HBase是三维有序存储的,通过rowkey(行键),column key(column family和qualifier)和TimeStamp(时间戳)这个三个维度可以 ...
hbase Normalizer解决预分区错误，在不动数据的情况下完美解决热点问题
(转) http://www.aboutyun.com/forum.php?mod=viewthread&tid=24292 1.对于预分区错误,hbase使用什么功能解决? 2.Regio ...
hbase热点问题解决（预分区）
一.出现热点问题原因 1.hbase的中的数据是按照字典序排序的,当大量连续的rowkey集中写在个别的region,各个region之间数据分布不均衡: 2.创建表时没有提前预分区,创 ...
shell和javaAPI两种方式创建hbase表并预分区
在hbase里面,如果我们建表不预分区,那么一个表的数据都会被一个region处理,如果数据过多就会执行region的split,如果数据量很大这样会很费性能,所以最好我们先根据业务的数据量在建表的时 ...

最新文章

热门文章