rowKey设计原则

rowkey设计原则

a.唯一原则

一定要保证当前的rowkey是所有数据的唯一一行

b.长度原则

在满足唯一原则的基础上，尽可能的减少rowk的容量大小

如果rowkey有特殊的排序需求的时候，要补齐位数

rowkey理论上支持64k的容量，一般10-100byte比较合理，越短越好

c.散列原则

如果按照keyPrefix原则拆分region，容易产生热点问题，比如手机号段

解决热点问题：

1.加盐

在原rowkey的前面生成n位随机数

2.反转

把原rowkey里的一些随机的内容放在最前面，相当于按随机数进行拆分

比如手机号，可以把最后四位放在号段的前面，不增加长度，还散列了

3.预分区

rowKey设计原则相关推荐

Hadoop生态圈-Hbase的rowKey设计原则
Hadoop生态圈-Hbase的rowKey设计原则作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任. 转载于:https://www.cnblogs.com/yinzhengjie/ ...
Hbase rowkey设计原则，热点问题
rowKey的作用读写数据时通过 RowKey 找到对应的 Region: MemStore 中的数据按 RowKey 字典顺序排序: HFile 中的数据按 RowKey 字典顺序排序. rowk ...
hbase的rowkey设计原则及热点问题
1.1 hbase数据库介绍 1.简介 hbase是基于Google BigTable模型开发的,典型的key/value系统.是建立在hdfs之上,提供高可靠性.高性能.列存储.可伸缩.实时读写no ...
Hbase Rowkey设计原则
Hbase是三维有序存储的,通过rowkey(行键),column key(column family和qualifier)和TimeStamp(时间戳)这三个维度可以对HBase中的数据进行快速定位 ...
hbase 预分区_hbase的rowKey设计原则
前言访问hbase table中的行,只有三种方式: 1 通过单个row key访问 2 通过row key的range 3 全表扫描可以看出rowkey设计的好与坏直接决定了查询速度,在hbas ...
HBase的RowKey设计原则含案例(全)
前言 HBase的RowKey的行由行键按字典顺序排序,这样的设计优化了扫描,允许存储相关的行或者那些将被一起读的邻近的行.然而,设计不好的行键是导致 hotspotting 的常见原因.当大量的客户 ...
最通俗易懂的解释hbase热点问题rowkey设计原则region分区及解决方案
关于热点问题,我简单陈述容易理解: 我们最开始hbase创建表默认是一个region,而我们所谓的热点问题其实就是对某一个region的过量访问造成的 Hbase当发现一个region存储数据量大于阈 ...
HBase的rowkey设计原则、HBase避免热点 11
1. 唯一性原则每条数据的rowkey必须唯一,不重复 2. 长度原则 rowkey尽量越短越好,一般不要超过16字节原因数据的持久化文件HFlie中是按照KeyValue存储的,如果rowke ...
Habse中Rowkey的设计原则——通俗易懂篇
Hbase的Rowkey设计原则一. Hbase介绍 HBase -> Hadoop Database,HBase是Apache的Hadoop项目的子项目.HBase不同于一般的关系数据库,它 ...

rowKey设计原则

rowKey设计原则相关推荐

最新文章

热门文章