Hbase表结构设计

一、主体思路

先确定查询场景，再确定表结构。

二、主键设计

主键设计需要考虑两个问题：1.选择哪些作为主键？2.当主键大于1个时，如何排列。

2.1 逻辑上用于表示行的唯一性的列必须作为主键

2.2 单个查询场景中一定出现的列可以考虑加入主键列，用于优化查询性能

2.3 在多个查询场景都出现的主键列要排在前面。

如果出现两个列各占部分场景，怎么排列都会使一部分场景无法达到性能要求，这时候我们要考虑二级索引

三、普通列设计

在保持语义情况下尽量使用尽量使用更短的名字，节省空间

Phoenix支持列族的概念，一个列由列祖名+列名唯一指定。

四、热点问题

分为读热点和写热点。

检索Hbase中的数据首先通过rowkey来定位数据行，当大量的client访问Hbase一个或少数几个节点，造成少数region server的读/写请求负载过大，其他region负载很小，这就造成了热点现象。热点现象会导致热点region所在单个主机上负载过大，引起region性能下降甚至不可用。

热点产生原因是因为大量连续编号的（大量相似的）rowkey的记录集中在个别的region中，解决此问题思想在于：尽量均衡的把每条记录均衡的分散到不同的region中。有很多方法可以达到这个目的，例如在行键前添加一个不连续的前缀。

4.1 随机化

如果查询都是Get类型，即只查询一个对象，可以对主键进行HASH，将HASH作为第一个主键列，常用的HASH方式是：MD5,反转。

byte[] rowKey = MD5（timestamp）

采用MD5之类的散列函数能将行键分散到所有region服务器上。对于时间连续的数据，这种方法明显不是好方法，因为随机化后，用户将不能再按时间范围扫描数据。随机化的方法很适合每次只读一行数据应用。如果用户数据不需要连续扫描而只需要随机读取，用户可以使用这种策略。

4.2 salting方式

用户可以使用salting方法将数据散列到所有的region服务器上去。

byte prefix = (byte)(Long.hashCode(timeStamp) % < number of region servers >)

byte[] rowKey = Bytes.add(Bytes.toByte(prefix),Bytes.toBytes(timestamp))

这样做的缺点是当用户要扫描一个连续范围时，可能需要对每个region服务器都发起请求(因为之前连续的数据，现在已经分散到不同的服务器中)。这样也会带来好处，用户可以并行的读取数据，这有点类似于一个小规模的MapReduce作业，这样查询的吞吐量有所提高。

Hbase表结构设计相关推荐

HBase表结构设计（结构、创建、压缩、分区、命名空间等）
HBase表结构设计(结构.创建.分区.命名空间等) 任务表述: 如果用户点击某一行数据则触发接口写数据进入HBase.那么当用户再次读取数据的时候数据A和数据B返回的数据就需要给返回的数据另外增加一 ...
【HBase——陌陌海量存储案例】3. HBase表结构设计（下）
前言本文是HBase实战--陌陌海量存储案例--HBase表结构设计的最后一部分, 编写数据生成器.数据服务查询数据. 4.7 编写数据生成器 4.7.1 测试工具类ExcelReader读取测试数 ...
【HBase——陌陌海量存储案例】2. HBase表结构设计（中）
前言本文是陌陌海量存储案例--HBase表结构设计(中),介绍ROWKEY设计原则.项目初始化. 4.5 ROWKEY设计原则 4.5.1 HBase官方的设计原则避免使用递增行键/时序数据如果 ...
分布式列数据库--理解hbase列存储机制、架构、表结构设计、命令操作
1. HBase简介 HBase是Hadoop Database的简称,是建立在Hadoop文件系统之上的分布式面向列的数据库. HBase和HDFS HDFS适用于存储大容量文件的分布式文件系统,不 ...
16进制 hbase phoenix_【建议收藏】HBase表的RowKey设计
Hello,大家好,我是勾叔.今天和大家谈一下HBase表的RowKey设计,谈HBase表的RowKey设计之前,先来认识RowKey. RowKey简介 RowKey,即每行数据的主键.Rowke ...
谈Apache OFbiz 会员模块表结构设计
数据库表的结构设计可谓是ofbiz除技术框架之外,另一个非常值得学习的方向.这篇文章我们来谈谈ofbiz对电子商务会员表的设计. PARTY ofbiz对人.团体进行了抽象,称之为party,翻译为中 ...
用户画像：数据指标与表结构设计
本篇博客介绍一下画像中需要开发的数据指标与开发过程中表结构的设计. 首先介绍画像开发的数据指标,画像开发过程中通用类的指标体系包括用户属性类.用户行为标签类.用户活跃时间段类.用户消费能力类.用户偏好 ...
HBase表创建、删除、清空
HBase shell窗口进入执行命令hbase shell rowkey(行键) product(列簇) food(列簇) name(列标识符) price(列标识符) name price(列标 ...
Shiro表结构设计
表设计开发用户-角色-权限管理系统,首先我们需要知道用户-角色-权限管理系统的表结构设计. 在用户-角色-权限管理系统找那个一般会涉及5张表,分别为: 1.sys_users用户表 2.sys_ro ...

Hbase表结构设计

Hbase表结构设计相关推荐

最新文章

热门文章