如何解决hbase中数据热点问题

所谓数据热点, 指的是大量的数据写到hbase的某一个或者某几个region中, 导致其余的region没有数据, 其他region对应regionServer的节点承受了大量的并发请求, 此时就出现了热点问题

解决方案: 通过预分区和设计良好的rowkey来解决

--加盐处理(加随机数) : 可以在rowkey前面动态添加一些随机数, 从而保证数据可以均匀落在不同region中
基本保证数据落在不同region
将相关性比较强的数据分散在不同的额region中, 导致查询的效率有一定降低
--hash处理: 根据rowkey计算其hash值, 在rowkey前面hash计算值即可 (MD5 HASH)
让相关性比较强的数据可以被放置到同一个region中
如果相关数据比较多, 依然会导致热点问题
--反转策略: 比如说手机号反转或者时间戳的反转
好处: 基本保证数据落在不同region
弊端: 将相关性比较强的数据分散在不同的region中, 导致查询的效率有一定降低

如何解决hbase中数据热点问题相关推荐

HBase的数据热点和Hbase常见避免热点问题的方法
只要使用过,听说过HBase的人,我想对HBase的数据热点想必也不会陌生. 数据热点是如何出现的,这得从HBase的存储结构说起,对于HBase详细的存储结构可以上网搜一下,这里就不补充了. 我们只 ...
如何解决机器学习中数据不平衡问题
作者:无影随想时间:2016年1月. 出处:https://zhaokv.com/machine_learning/2016/01/learning-from-imbalanced-data.h ...
HBase中数据的多版本特性潜在的意外
http://zjushch.iteye.com/blog/1243522 2011-11-08 HBase中数据的多版本特性潜在的意外博客分类: Hbase hbase多版本删除时间戳KeyVa ...
如何解决机器学习中数据不平衡问题(转)
作者:无影随想时间:2016年1月. 出处:http://www.zhaokv.com/2016/01/learning-from-imbalanced-data.html 这几年来,机器学习和 ...
Hbase设计数据热点问题
一.数据热点 hbase的表的多个region中有一个region的读写并发很高,其他的region相对来说读写少,造成热点的region 一定要避免数据热点的问题! 1.防止数据热点的有效措施 1. ...
解决存储过程中数据安全问题的四种方式
随着科技的不断发展,数据量也正在呈指数倍的增加.在这样一个大背景下,存储产品成为了时下市场中最热的产品.而数据的安全性也变得尤为重要.后端存储已经逐渐成为企业业务系统的核心和关键. 一般而言,我们有四 ...
k8s集群中 spark访问hbase中数据
全栈工程师开发手册 (作者:栾鹏) 架构系列文章首先我们需要对hbase的访问原理非常清楚.可以参考:https://blog.csdn.net/luanpeng825485697/article/ ...
hbase中为何不能向表中插入数据_大数据HBase理论实操面试题
1.HBase的特点是什么? 1)大:一个表可以有数十亿行,上百万列: 2)无模式:每行都有一个可排序的主键和任意多的列,列可以根据需要动态的增加,同一张表中不同的行可以有截然不同的列: 3)面向列: ...
HBASE中column family的设计，rowkey的设计，以及row key的设计原则问题
一.Hbase中的每条记录的结构 Hbase的表组成:一个表可以理解成是行的集合,行(记录)是列族的集合,列族是列的集合. (1) 列族column family:它是column的集合,在创建表的时 ...

如何解决hbase中数据热点问题

如何解决hbase中数据热点问题相关推荐

最新文章

热门文章